Станислав Лем. Душа в машине

Понятием "душа в машине" - the ghost in the machine - некоторые психологи (английские) закрепляют убеждение в том, что человек якобы является существом "двойственным", т.е. состоящим из "материи" и "души".

Сознание не является технологической проблемой, потому что конструктора не интересует, чувствует ли машина, а только интересует, действует ли она. Таким образом "технология сознания", как бы это сказать, может появиться только мимоходом, когда окажется, что определенный класс кибернетических машин обладает субъективным миром психических переживаний.

Но каким образом можно узнать о наличии сознания в машине? Эта проблема имеет не только абстрактно-философское значение, ибо предположение, что какая-то машина, которая отправляется на лом из-за того, что ремонт не оплачивается, имеет сознание, превращает наше решение уничтожить материальный предмет, типа граммофона, в акт уничтожения индивидуальности, осознанного убийства. Кто-то мог бы оснастить граммофон пластинкой и выключателем таким образом, что, если бы мы сдвинули его с места, то услышали бы крики: "Ах, умоляю, подари мне жизнь!". Как можно отличить такой, без сомнения, бездушный аппарат от мыслящей машины? Только вступая с ней в разговор. Английский математик Аллан Тьюринг (Allan Turing) в своей работе "Может ли машина мыслить?" предлагает в качестве решающего критерия "игру в имитацию", которая основывается на том, что мы задаем Кому-то произвольные вопросы и на основании ответов должны сделать заключение, является ли этот Кто-то человеком или машиной. Если мы не сможем отличить машину от человека, то следует признать, что машина ведет себя как человек, то есть что она обладает сознанием.

Отметим со своей стороны, что игру можно усложнить. Можно предположить два вида машин. Первый вид является "обычной" цифровой машиной, которая устроена как человеческий мозг; с ней можно играть в шахматы, разговаривать о книгах, о мире и вообще на все темы. Если бы мы ее вскрыли, то увидели бы огромное количество соединений элементов, подобно соединениям нейронов в мозгу, кроме того - блоки ее памяти и т.д. и т.п.

Второй вид машины совсем другой. Это увеличенный до размера планеты (или космоса) граммофон. Она имеет очень много, например, сто триллионов, записанных ответов на всевозможные вопросы. Таким образом, когда мы спрашиваем, машина ничего "не понимает", а только форма вопроса, т.е. очередность вибраций нашего голоса, приводит в движение передатчик, который запускает пластинку или ленту с записанным ответом. Не будем задумываться о технической стороне вопроса. Понятно, что такая машина неэкономична, что ее никто не создаст, потому что это невозможно и главное - неизвестно, зачем ее создавать. Но нас интересует теоретическая сторона. Потому что, если вывод о том, имеет ли машина сознание, делается на основе поведения, а не внутреннего строения, не придем ли мы неосмотрительно к выводу, что "космический граммофон" обладает им - и тем самым выскажем нонсенс? (А скорее неправду).

Можно ли, однако, запрограммировать все возможные вопросы? Без сомнения, средний человек не отвечает в обычной жизни даже на один их биллион. Мы же на всякий случай записали их во много раз больше. Что же делать? Мы должны вести нашу игру по достаточно развитой стратегии. Мы задаем машине (то есть Кому-то, потому что не знаем, с кем имеем дело; разговор ведется, например, по телефону) вопрос, любит ли она анекдоты. Машина отвечает, скажем, что да, она любит хорошие анекдоты. Рассказываем ей анекдот. Машина смеется (т.е смеется голос в трубке). Или у ней был этот анекдот записан и это позволило ей правильно отреагировать, т.е. засмеяться, или это в самом деле мыслящая машина (или человек, ибо мы этого не знаем). Мы разговариваем с машиной какое-то время, а потом неожиданно спрашиваем, припоминает ли она анекдот, который мы ей рассказали. Она должна его помнить, если она действительно мыслит. Она скажет, что помнит. Мы попросим, чтобы она повторила его своими словами. Вот это уже очень трудно запрограммировать, потому что таким образом мы вынуждаем конструктора "космограммофона" записать не только отдельные ответы на возможные вопросы, но и целые последовательности разговоров, которые могут вестись. Это требует, конечно, памяти, т.е. дисков или лент, которых, может, и вся солнечная система не вместит. Положим, машина не может повторить нашего анекдота. И мы тем самым разоблачаем, что она - граммофон. Задетый конструктор берется за усовершенствование машины таким образом, что пристраивает ей такую память, благодаря которой она сможет вкратце повторить сказанное. Но таким образом он сделал первый шаг в направлении от машины-граммофона к машине мыслящей. Так как бездушная машина не может признать идентичными вопросы аналогичного содержания, но сформулированные даже с незначительными формальными отклонениями, типа: "Вчера было хорошо на улице?", "Вчера была прекрасная погода?", "Погожим ли был предыдущий день?" и т.д. и т.п., то для машины бездушной они будут вопросами различными, а для машины мыслящей - идентичными. Конструктор вновь разоблаченной машины вынужден опять ее перерабатывать. В конце концов, после долгой серии переделок, он введет в машину способности индукции и дедукции, способность ассоциации, схватывания тождественной "формы" по-разному сформулированных, но одинаковых по содержанию высказываний, пока в результате не получит машину, которая просто будет "обычной" мыслящей машиной.

Так появляется интересная проблема: когда именно в машине появилось сознание? Предположим, что конструктор не переделывал эти машины, а относил каждую в музей и следующую модель создавал с начала. В музее стоит 10 000 машин, потому что столько было очередных моделей. Результатом стал плавный переход от "бездушного автомата" типа играющего шкафа к "машине, которая мыслит". Должны ли мы признать машиной, имеющей сознание, машину номер 7852 или только номер 9973? Они отличаются друг от друга тем, что первая не умела объяснить, почему она смеется над рассказанным анекдотом, а только говорила, что анекдот очень смешен, а вторая умела. Но некоторые люди смеются над шутками, хотя и не могут объяснить, что именно в них смешно, потому что, как известно, теория юмора - это твердый орешек. Разве эти люди тоже лишены сознания? Нет же, они, наверное, просто не очень быстро реагируют или малообразованные, их ум не обладает навыками аналитического подхода к проблемам; но мы спрашиваем не о том, умная ли машина или скорее туповатая, мы только спрашиваем, имеет ли она сознание или нет.

Казалось бы, следует признать, что модель номер 1 имеет ноль сознания, модель номер 10 000 имеет полное сознание, а все средние имеют "все больше" сознания. Это утверждение показывает, насколько безнадежной является мысль о том, что сознание можно точно локализовать. Отсоединение отдельных элементов ("нейронов") машины спровоцирует только слабые, количественные изменения ("ослабления") сознания так же, как это делает в живом мозге прогрессирующий процесс болезни или нож хирурга. Проблема не имеет ничего общего ни с использованным для конструкции материалом, ни с размерами "мыслящего" устройства. Электрическую мыслящую машину можно построить из отдельных блоков, соответствующих, положим, мозговым извилинам. Теперь разделим эти блоки и разместим на всей Земле так, что один находится в Москве, второй в Париже, третий в Мельбурне, четвертый в Иокогаме и т.д. Отделенные друг от друга, эти блоки "психически мертвы", а соединенные (например, телефонными кабелями) они стали бы одной, интегральной "индивидуальностью", единым "мыслящим гомеостатом". Сознание такой машины находится ни в Москве, ни в Париже, ни в Иокогаме, но, в определенном смысле, в каждом из этих городов и, в определенном смысле, ни в одном из них. Потому что о нем трудно сказать, что оно, как Висла, имеет протяженность от Татр до Балтийского моря. Впрочем, подобная проблема демонстрирует, хотя и не так ярко, человеческий мозг, потому что кровеносные сосуды, белковые молекулы и ткани находятся внутри мозга, но не внутри сознания, и опять-таки нельзя сказать, что сознание находится под самым куполом черепа или, скорее всего, ниже, над ушами, по обеим сторонам головы. Оно "рассеяно" по всему гомеостату, по его функциональной сети. Ничего больше заявить на эту тему не получится, если мы хотим соединить сознание с возможностью рассуждать.

Вышеприведенный текст, скопированный из моей "Суммы технологии", был написан в середине 1963 года. С точки зрения сегодняшней ситуации он представляет очень сильное упрощение дороги, которую мы должны пройти, чтобы дойти до имитации описанной мной цели. Мы уже предполагаем, что "сознание" и "интеллект" - это в определенном смысле отдельные сути бытия. Мы знаем, что существуют достаточно различные состояния сознания, даже если шкала их находится между сном и реальностью. Но и сон, точнее, мечта во сне, может характеризоваться разнообразной насыщенностью конкретностей, которые имитируют реальность, сознательно переживаемую наяву. В свою очередь, сознание наяву, что каждый знает по собственному опыту, даже если он не является ни психологом, ни психиатром, может также иметь очень различные состояния. Человек в состоянии болезненного жара может осознавать свое состояние, то есть то, что его сознание подверглось нарушению. Различные химические средства могут самым разным образом формировать человеческое сознание. Кроме того, следует отметить, что есть множество действий, которые человек может делать машинально, то есть четко и неосознанно. Сознание водителя автомобиля, особенно быстрого, "не успевает" за реакциями этого водителя в ситуациях с неожиданной последовательностью событий. Вместе с тем машинально можно делать глупости, мы называем их чаще всего "действиями по рассеянности".

Все это я сказал в отношении моего текста тридцатипятилетней давности, в котором я задумался над "ростками" сознания в машине, и делал я это потому, что мне казалось, что люди очень отличаются друг от друга уровнем умственных способностей, а сознание всем дано приблизительно похожее.

Дороги напрямик, по прямой и восходящей линии, от полного автомата, каким является компьютер, к машине, которой мы могли бы приписать сознание, нет. Вместе с тем работу нашего мозга мы уже знаем настолько, чтобы узнать то, что так называемая каллотомия, или рассечение большой белой спайки, соединяющей полушария мозга, не ликвидирует сознания, но создает в разделенных полушариях две его разновидности. Кроме того, мы знаем, что мозг является системой, построенной из огромного количества функциональных модулей, которые в отдельных окрестностях мозга создали среду, формирующую сознание. Уточню сказанное примером. Существует часть коры мозга, способствующая тому, что мы видим цвета. Повреждение этого модуля приводит к тому, что таким образом пораженный человек видит все без цвета, как в черно-белом кино. Чем точнее мы узнаем специфику функциональной ориентации модулей мозга, тем с большим удивлением узнаем, как, с точки зрения инженерной экономии, хаотично устроен мозг, хотя мы при осознании самих себя не отдаем себе в этом отчета. Сегодня нам кажется, что отдельные модули, функционально похожие на модули мозга, мы уже сможем конструировать. Обычно это псевдонейронные сети различной сложности. Вместе с тем мы еще не умеем ни создать их в достаточном количестве, ни соединить их таким образом, чтобы созданное произведение смогло имитировать сознание. Следовательно, прямой дороги от бездумного автомата к сознательно мыслящей машине нет. Есть, однако, много сложных дорог, которые в будущем приведут нас к цели и, может быть, эту цель превзойдут. О такой возможности я написал книгу "Голем XIV".

Краков, 7 июля 1998 года. Опубликовано в журнале "PC Magazine po polsku", N№9/1998, а затем включено в сборник "Мегабитовая бомба" (см. также "КГ", начиная с N№26/1999).
Перевел с польского Виктор Язневич (yaznevich@mail.ru)