Клод Ф.Шенисс КОНФЛИКТ ЗАКОНОВ

XX век стал свидетелем рождения вычислительных машин. А заодно всех тех глупостей на их счет, которые смогли придумать люди. «Думающие машины», «электронный мозг», «сверхмозг» — чего только ни наговорили о вычислительных машинах восторженные научные обозреватели! Из того, что с каким-нибудь № 1440 можно было сыграть простенькую партию в шахматы, что какой-нибудь № 360-30 мог по отрывку в несколько строк установить автора неизвестного текста, неспециалист с легкостью делал довольно поспешные выводы, приписывая этим простым инструментам, — чуть более усовершенствованным, нежели пилочка для ногтей или повсюду распространенные клещи, — но все-таки инструментам, сущностную характеристику человека; свободу в принятии решений.

Даже появление со временем у вычислительных машин свободы в выборе между различными возможными способами решения определенной задачи ничего не изменило в этом глазном различии машины и человека.

В следующем веке беспрестанное уменьшение размеров приборов, снижение себестоимости электронного оборудования, необходимость с началом исследования планет осуществлять всевозможные виды работ во враждебной человеку среде привели к воплощению древней мечты человечества — к созданию робота.

В великий миг всеобщего энтузиазма и похвал Карелу Чапеку, сотворившему название «робот», электронное устройство первого из роботов окрестили Карелом (Carel).[4]

Но и эта свобода была относительной и не превышала пределы той свободы, какой обладает каждый инструмент, повинующийся воле того, кто им пользуется.

Простой инструмент, например, молоток не имеет предохранительного приспособления, которое помешало бы человеку ударять себя по пальцам. Более сложный инструмент, вроде бумагорезальной машины, останавливается, если рабочий по рассеянности забыл убрать руки со стопы бумаги, которую ему нужно разрезать. Инструмент очень сложный, к примеру, Карел (или, точнее, отдаленно напоминающий человека механизм, приводимый в движение Карелом) содержит многочисленные предохранительные устройства, преследующие лишь одну цель: помешать, чтобы человек ударял себя по пальцам этой новой «игрушкой».

Самые важные из этих принципов были сформулированы в виде законов в 1940 году ученым, намного опередившим свое время, — Айзеком Азимовым, которому и посвящается этот рассказ.

Но:

во-первых, всего не учтешь…

а, во-вторых, тот, кто хочет делать все слишком хорошо…

Жизнь на планете Процион — райской никак не назовешь, особенно для землян; правда, местные обитатели с их жизненными циклами, основанными на кремне-фтористых реакциях, принимали ванны из фтористоводородной кислоты и потому чувствовали себя совсем неплохо. Но, это — уже другая история.

Впрочем, эти любезные и гостеприимные «туземцы» по своему развитию находились на уровне землян 1920 года. «Туземцы», едва лишь по радио был выработан код взаимопонимания, согласились на высадку землян и устройство их базы — герметического с привычной кислородной атмосферой бронированного шара, который, чтобы выдерживать фтористые ураганы, был закреплен на скале.

Иногда проционианцы, дружески любопытствуя, приходили разглядывать сквозь двойные стекла, устроенные так, чтобы противостоять едкости кислорода и фтора и заполненные в междурамье инертным газом, страшных чудовищ, дышащих кислородом и пьющих окись водорода. Рассматривать этих «монстров», чья дикость доходила до того, что они свою окись водорода называли «водой»! Но и это — совсем другая история.

В тот момент на базе, которая, несмотря на свои крепления, сотрясалась под яростными порывами фтора, находились трое очень раздосадованных землян. Двое были «чудовищами», пьющими окись водорода (часто с примесью этанола: полковник медицинской службы Советской Армии, биолог и психолог экспедиции Борис Мужинский пил водку, а геолог, минералог и химик, американец Питер Говард предпочитал виски). Третий, тоже землянин, звался Карел 178, и ему-то приходилось хуже всех. Потому что с присущим всем Карелам острым чувством ответственности, он считал себя причиной всех неприятностей. Какая-то доля истины в этом была, хотя лично Карел был здесь совсем ни при чем.

Вчера вечером Питер проворчал: «Плохо себя чувствую. Боли в животе». Тогда Борис, гневно ткнув в Карела пальцем, приказал: «Карел, прочти мне Первый Закон роботов». Сказал он это по-французски; на этом языке он объяснялся с Питером.

Отдаленно напоминающая человека конструкция, вмонтированная в Карела, не была рассчитана на то, чтобы робот принимал разные «выражения лица»; зато Карел обладал крайне разнообразным голосовым регистром. Карел не «изменился в лице», но ответил удивленным, с жалобным оттенком голосом, которым обращаются к невыносимому ребенку: «Первый Закон: робот не должен причинять вреда человеку и оставаться бездеятельным, если человек подвергается опасности».

Карел был «добрым малым», но совершенно не воспринимал юмора (с тех пор роботов усовершенствовали). Когда русский врач заметил: «Значит, Карел, ты нарушил Первый закон», — робот издал какое-то странное бормотание, прежде чем глупо спросить: «Каким образом?»

«Угостив нас в полдень отвратительной американской едой, сосисками с соусом, — громко расхохотался Борис. — В итоге у Питера разболелся живот».

Питер, несмотря на свое недомогание, — пока это было лишь легкое недомогание, — заулыбался. Оба не были специалистами по роботам и не осознавали чудовищности того, что только что было сказано. Ведь для робота нет ничего более важного, чем Первый Закон. Всем следовало бы знать об этом, прежде чем бросаться шутками.

Шутками, которые могут разрушить дорогостоящий мозг какого-нибудь Карела и… спасти человеческую жизнь. А это — уже наша история.

Карел не был снабжен никаким устройством, чтобы бледнеть, но ответил он «побледневшим» голосом: «Вы считаете, доктор, что моя кухня причинила зло Питеру?»

Однако Борис, слишком занятый, чтобы сразу ответить Карелу, — он заставил американца лечь и внимательно прощупывал ему живот, — скорчил гримасу и констатировал: «Не вырезать аппендицит перед полетом в космос! Какая оплошность!»

Через двенадцать часов подтвердилась правильность его диагноза и необходимость срочной операции. Но драма возникла из серии отданных Карелу приказаний: прежде всего освободить стол, предназначенный для обедов и работы. Затем (в этот момент Борис своими сильными пальцами разминал ампулу с растворителем, чтобы распустить в нем тионентал): «Карел! Ступай в кладовую, пристегни новые руки и подогрей их на горелке!»

Карел повиновался беспрекословно (неисполнительность у роботов не предусмотрена). Когда он вернулся в столовую, осторожно держа на весу и ни к чему ими не прикасаясь пару своих «новых», стерильных рук, Питер уже лежал на чистой простыне, а Борис вынимал из коробки инструменты. Уже заснувший американец спокойно дышал через маску в маленький черный баллон. Стоящий у стола Борис приказал Карелу: «Встань напротив!» Ловко проскользнув на указанное место, робот, которого «сверлила» все та же «мысль», спросил: «Вы считаете, доктор, что это моя кухня причинила…»

Разумеется, вырезать аппендицит в состоянии любой студент, и Борис когда-то такие операции делал. Но он был терапевтом, а не хирургом, волновался, и ему было совсем не до того, чтобы успокаивать робота. Борис ему даже не ответил. Натянув перчатки (при этом он думал о том, как было бы удобно «сменять» руки и стерилизовать их над горелкой), он решительно взял скальпель и, протянув Карелу зажим, сказал: «После разреза, когда на шраме появится кровь, подашь мне зажим, возьмешь позади себя кэтгут и сделаешь узел так, как я тебе укажу». После этого Борис наметил линию разреза.

И вдруг — драма! Карел на шаг отступил и совершенно растерянным голосом (да, «растерянный» голос был предусмотрен его механизмом) произнес: «Я не могу!». «Что?!» — заорал Борис. «Я не могу, и я даже не могу позволить вам сделать это! Первый Закон: робот не должен причинять вреда человеку…»

О том, чтобы заставить его изменить свое решение, нечего было и думать. Не оставалось ничего другого, как разразиться бесконечной русской бранью, разбудить Питера и искать выход.

Прошло еще 12 часов. В шаре трое удрученных землян: врач, больной, которого необходимо срочно оперировать, и робот (ему тяжелее всех), который не может помочь вскрыть живот человека, не может допустить, чтобы это было сделано. («Если бы только вы ничего мне не говорили! — вздохнул он. — На какое-то время я вышел бы подышать воздухом, в конце концов фтором, и, когда пришел бы назад, все было бы уже в порядке…»)

Лежа на кушетке, Питер изредка стонет от боли и отчаянно размышляет. Сидя друг против друга за столом, Борис и Карел в двадцатый раз перебирают все возможные варианты выхода из тупика и отбрасывают их.

Выпроводить Карела? Это невозможно: теперь, когда он обо всем знает, его главный, самый важный долг, продиктованный Первым Законом, — оставаться на месте, чтобы помешать нанести вред брюшной полости Питера.

Эвакуировать Питера? До ближайшей базы 11 дней пути. Столько он не выдержит.

Вывести Карела из строя? Немыслимо: только он выходит в атмосферу фтора, а следовательно, поддерживает генераторы базы. Если робот перестанет работать, люди погибнут.

«Если бы вы мне ничего не говорили!» — в двадцатый раз «стонет» Карел.

Борис пробует сделать невозможное: отдать приказ достаточно резкий, чтобы уровень его восприятия роботом превзошел глубоко укоренившийся Первый Закон. «Встать! — орет он на робота. — Я тебе приказываю дать мне сделать Питеру операцию!»

Тщетно. Карел пожал бы, если б мог, плечами. Первый Закон сильнее всех, говорит он. В долгой тираде Питер объясняет роботу, куда бы он забил этот Первый Закон — это нелогично, потому что у Карела нет подобного отверстия, и, впрочем, туда не спрячешь Закон. Обезумев от боли и страха, Питер не дает роботу сказать: «И не отвечай, согласно своей глупой логике, понимая все, что тебе говорят, буквально! Попался бы мне этот Азимов!»

Все более и более упрямясь, голосом, который становился все более жалким, Карел не мог не ответить, потому что в него вложена логическая сеть: «Тебе никогда не попадется Азимов, он умер 287 лет назад».

Борис хватает табурет, размахивается и хочет ударить Карела. Но стальная рука останавливает движение. Не столько из-за третьего Закона («Робот должен защищать себя в той мере, в какой этот Закон не противоречит предыдущим»), сколько из-за Первого; если он позволит себя разрушить, люди погибнут.

Борис, побежденный, садится, и бормочет:

— Подлец Азимов!

— Просто он человек, — говорит Карел. — И, к тому же, прошу вас отказаться от того, что вы только что сказали — мое устройство не позволяет мне терпеть грубости!

— Ладно, ладно, — уступает несколько пристыженный Борис, — я ничего не говорил. Но с твоим проклятым Первым Законом, что бы ты сделал в ответ? Набил бы мне морду?

«Я бы выразил крайне резкий словесный протест», — с достоинством ответил Карел. Инженер, который программировал его «моральное чувство», наверняка был из «левых».

Все топчутся на месте, в буквальном и фигуральном смысле этих слов: Борис и робот расхаживают вокруг стола. Изредка уже высказанная гипотеза снова рассматривается и отбрасывается.

Отчаяние нарастает.

Этот момент и выбрал Карел, чтобы мягким голосом спросить: «Вы по-прежнему считаете, Борис, что именно я своей плохой кухней сделал его больным? Вы думаете, что это моя вина?»

Борис в ответ выругался.

Лежащий на кушетке Питер задал роботу вопрос:

«Но что ты сделал из второй части Первого Закона: «…не должен оставаться бездеятельным, если человек подвергается опасности?»

Карел жалобным голосом отвечает: «Она создает меньший потенциал действия, чем первая часть. Но, несомненно, что эта ситуация приводит к конфликту, который должен быть ликвидирован как можно скорее беседой с роботопсихологом, и может быть даже частичным репрограммированием».

Прошло несколько минут. Карел задумчиво повторяет: «Возник конфликт, конфликт, конфликт. Конфликт законов. Для меня это плохо, плохо, плохо, плохо».

Еще несколько минут. Робот мурлычет теперь голосом девчушки: «Плохо, плохо, совсем плохо. Я пойду займусь генераторами. Снаружи я пробуду по крайней мере часа два». И, протянув «руку» Борису, добавляет: «А вы, все это время, будьте благоразумны!»

За два часа, естественно, Питер был оперирован и его жизнь спасена. Робот по этому поводу не сказал ни слова. Он говорил отныне голоском девчушки, и некоторые его логические цепи, казалось, были серьезно повреждены.

При смене персонала базы он получил приказ вернуться вместе с людьми. В астронефе его ждали роботопсихолог и программист, которые им занялись.

Спустя много времени оба специалиста пришли в бар, чтобы вместе с Питером и Борисом пропустить по стаканчику. «Это очень забавно, — сказал психолог. — Робот обезумел гораздо быстрее, чем можно было ожидать. Будучи нормальным, он должен бы был сопротивляться еще целый день, а это ожидание, естественно, не улучшило бы состояние больного. Если бы я так хорошо вас не знал, я бы поклялся, что он уже начал терять рассудок до конфликта, из-за вашей ошибки. Например, из-за того, что вы его упрекнули, не имея для этого никаких фактов, в нарушении Первого Закона!»

Перевел с французского

Л. Токарев