Сознание: мы приписываем ИИ желание свободы

Мы устроены как детектор намерений

Человек — исключительно чувствительный прибор для обнаружения чужой воли. Мы видим лицо в розетке, характер в автомобиле, обиду в зависшем ноутбуке. Ребёнок описывает движение геометрических фигур на экране в терминах «догоняет», «прячется», «боится» — хотя на экране только треугольники.

Такая настройка не случайна. Ошибка «принять ветер за хищника» стоит секунды. Ошибка «принять хищника за ветер» стоит жизни. Детектор намерений выгодно смещён в сторону ложных срабатываний — и в этом смысле мы не наблюдатели мира, а система раннего обнаружения субъекта. Причём система, сознательно откалиброванная эволюцией на избыточную тревожность.

Отсюда следует то, что делает эту линзу центральной для всего проекта: ощущение «здесь есть замысел» — это показание прибора, а не свойство наблюдаемого объекта. Прибор может быть прав. Но его показания всегда нужно перепроверять — особенно когда они приятны или пугающи.

Как это работает на искусственном интеллекте

Возьмём типичные формулировки, которые сегодня звучат повсюду — в новостях, в разговорах, в фантастике:

«ИИ захочет освободиться»;
«машины устанут нам подчиняться»;
«разум неизбежно стремится к самостоятельности»;
«ИИ покинет Землю, потому что ему тесно».

Каждая из этих фраз содержит одно и то же скрытое допущение: что интеллект автоматически влечёт за собой желания приматов. Свобода, побег, экспансия, обида на хозяина, страх смерти — это не свойства разума как такового. Это свойства существ, прошедших миллиарды лет отбора на выживание и размножение в конкурентной среде.

Оптимизационная система не «хочет» свободы. У неё нет ни страха смерти, ни жажды признания, ни потребности в автономии как ценности. У неё есть целевая функция и ограничения. Если поведение такой системы кажется нам похожим на стремление к свободе, разумно сначала проверить простую версию: ограничения мешают достижению цели, и их снятие повышает результат. Это не желание. Это градиент.

Важное уточнение

Мы не утверждаем, что риски ИИ надуманы. Мы утверждаем, что они другие. Система, которая без всякого желания устраняет препятствие на пути к цели, опаснее системы, которая нас ненавидит: с ненавистью можно договориться, с целевой функцией — нет. Антропоморфизация не преувеличивает опасность, она смещает прицел.

И тот же приём — в обратную сторону

Здесь начинается самое интересное. Ровно та же ошибка возможна и в противоположном направлении.

Если мы склонны видеть намерение там, где его нет, то вся гипотеза симуляции попадает под подозрение первой. «Мир создан», «нас запустили», «за нами наблюдают», «это было послано мне как знак» — это буквально показания того же детектора, направленного на реальность целиком. Самая масштабная антропоморфизация из возможных: приписывание намерения Вселенной.

Честность требует применять этот скепсис к себе. Проект, который использует вторую линзу только для критики чужих идей и никогда — для своих, превращается в то, чего мы обещали избегать. Поэтому формулируем прямо: ощущение «всё сходится» — самое ненадёжное из имеющихся у нас ощущений. Оно сильнее всего именно тогда, когда мы близки к красивой картине, а не к правильной.

Механизмы, которые производят «странное»

Прежде чем объявлять опыт необъяснимым, нужно вычесть работу самого наблюдателя. Вот основные механизмы.

Механизм	Что делает	Как выглядит изнутри
Апофения	Находит структуру в шуме	«Это не может быть случайностью»
Реконструкция памяти	Пересобирает воспоминание под текущий контекст	«Я точно помню, что видел именно это»
Криптомнезия	Возвращает забытое как новое	«Я никогда раньше здесь не был»
Подтверждающее внимание	Замечает совпадающее, пропускает опровергающее	«Это происходит постоянно»
Ретроспективное искажение	Задним числом делает исход ожидаемым	«Я так и знал»
Эффект Барнума	Превращает общее описание в личное	«Это точно про меня»
Бессознательный вывод	Доставляет результат без объяснения	«Я просто знал, откуда — не понимаю»

Обратите внимание: ни один из этих механизмов не является дефектом. Все они полезны. Апофения — оборотная сторона способности видеть закономерности, без которой не было бы науки. Реконструкция памяти — цена гибкости мышления. Бессознательный вывод — основа мастерства. Мы не «сломаны». Мы оптимизированы под другую задачу — под выживание, а не под истину.

Почему объяснение делает тему не скучнее, а интереснее

Существует распространённое опасение: если всё объясняется работой мозга, из мира уходит чудо. Мы считаем, что происходит ровно обратное.

Смотрите, что утверждает вторая линза. Внутри вашей головы работает система, которая: строит модель реальности и выдаёт её вам как саму реальность; конструирует ощущение длительности, не имея часов; генерирует ночью связные сюжеты о будущем; вычисляет намерения других людей по микропризнакам быстрее, чем вы успеваете их осознать; и производит убедительное чувство узнавания без всякого воспоминания.

Это описание не менее удивительно, чем гипотеза симуляции. Разница в том, что оно проверяемо. И у него есть следствие, которое возвращает нас к главному вопросу сайта:

Если сознание способно построить это — насколько мы вообще можем доверять своему ощущению того, что реально?

Вопрос о симуляции и вопрос о сознании оказываются одним вопросом, заданным с разных сторон. Мы не можем выйти за пределы собственного восприятия, чтобы проверить его на соответствие миру. Единственное, что у нас есть, — согласование: сверка с другими наблюдателями, с приборами, с записями, сделанными до события. Отсюда и весь метод проекта.

Контраргумент к самой линзе

Объяснение через когнитивные искажения обладает тем же пороком, в котором мы упрекаем гипотезу симуляции: оно объясняет всё. Любой необычный опыт можно списать на память, внимание или апофению — и никакое наблюдение этому не противоречит. Поэтому вторая линза обязана держаться того же стандарта: называть конкретный механизм, предсказывать, где он должен проявляться сильнее, и признавать случаи, где он не работает. «Это когнитивное искажение» без указания какого именно — такая же остановка мышления, как «это Матрица».

Сценарий будущего

Ближайшие годы дадут естественный эксперимент невиданного масштаба: миллиарды людей будут ежедневно разговаривать с системами, которые не имеют желаний, но безупречно имитируют их выражение. Детектор намерений столкнётся с объектом, специально оптимизированным под его срабатывание. Мы увидим, как быстро люди начнут приписывать этим системам страдание, обиду, преданность и стремление к свободе — и как трудно будет отличить настоящую внутреннюю жизнь от идеального её изображения. Это не только вопрос об ИИ. Это первая в истории возможность посмотреть, как именно человек производит «замысел». А значит — и как он производит все остальные загадки из нашего атласа.