Джо Роган — Ник Бостром, интервью

Джо Роган (ДР): Итак, Ник, людей больше всего пугает мысль о том, что мы создадим нечто, что будет умнее нас и вытеснит нас. Действительно ли стоит из-за этого переживать?

Ник Бостром (НБ): Полагаю, ты имеешь в виду младенцев?

ДР: Я имею в виду искусственный интеллект.

НБ: Это большой страх и большие надежды одновременно.

ДР: В чём большие надежды?

НБ: Большинство наших проблем можно было бы решить, если бы мы были умнее или если бы на нашей стороне был кто-то намного умнее, типа новых технологий. Кроме того, если мы хотим представить себе великое будущее, в котором наши потомки однажды отправятся колонизировать вселенную, думаю, это произойдёт только после появления сверхинтеллекта, который разработает соответствующую технологию.

ДР: Вопрос в том, сможем ли мы обуздать этот интеллект или он поработит нас.

НБ: Да, это, несомненно, один из вопросов. Не единственный: можно представить себе, что мы его обуздаем, но потом используем в плохих целях, как было со многими другими технологиями в истории. Перед нами тут стоят две задачи: во-первых, сделать так, чтобы он соответствовал человеческим ценностям, а во-вторых, чтобы мы все вместе использовали его для чего-то лучшего, чем войны или междусобойчики.

ДР: Меня больше всего беспокоит то, что человек станет не нужен. Что мы изобретём что-то, что станет следующей ступенью эволюции. Меня очень тревожит то, что если мы обернёмся и посмотрим на древних гоминидов, австралопитеков, первобытных предков человека, то не хотелось бы к этому возвращаться, ведь это ужасная жизнь. Меня беспокоит, что сейчас мы создаём следующий этап.

НБ: Я думаю, что нам не очень хотелось бы — по крайней мере, я был бы не в восторге от будущего, в котором человечество в его нынешнем виде было бы последним словом, окончательной версией. Я считаю, что у нас есть ещё куда совершенствоваться. Но не любое изменение — к лучшему. Так что ключ — найти такой путь вперёд, чтобы всё лучшее в нас продолжало существовать и развиваться. Возможно, в конце этого пути мы будем выглядеть совсем иначе: не двуногие-двурукие существа с килограммовым мозгом, а что-то совсем другое. Но если при этом сохранится, а в идеале и преумножится всё то, что для нас ценно, то это можно будет считать успехом.

ДР: Да, это идея эволюции: что мы как те же древние гоминиды и в итоге станем более развитыми или как минимум более сложными, чем сейчас. Но меня беспокоит то, что биологическая жизнь сама по себе ограничена. Если посмотреть на эволюцию техники, на закон Мура, да хотя бы на новые мобильники — только вчера вышел новый айфон, и вот они говорят про постепенный рост, способность фотографировать, широкоугольные объективы в ночном режиме, новый чип, который ещё быстрее старого… Всё это происходит настолько быстрее, чем мы можем себе представить в биологии. Например, если бы вместо искусственного интеллекта мы создали форму жизни, но эта форма жизни кардинально улучшалась каждый год, а раньше её даже не существовало — как айфон, который существует с 2007 года, — если бы у нас было 12-летнее существо, которое внезапно было бы бесконечно более быстрым, лучшим, умным, продвинутым, чем 12 лет назад, то мы бы сказали: «Стоп-стоп, давайте притормозим! Через сколько поколений эта тварь станет умнее нас? Через сколько поколений эта тварь решит, что люди уже отжили своё?»

НБ: Да, это происходит очень быстро, но некоторые думают, что всё замедляется.

ДР: Кто так думает?

НБ: Ну, такие люди, как Тайлер Коуэн и Питер Тиль любят рассуждать, что скорость инноваций не та, что надо. Возможно, она была выше в 1890-х. Но всё равно, по сравнению со всей человеческой историей сейчас период беспрецедентно быстрого развития.

ДР: Беспрецедентно?

НБ: Да, пожалуй, за исключением, может, пары десятилетий век назад, когда появилось много всего сразу — электричество и так далее.

ДР: Да. Я согласен. Я не думаю, что это беспокойство, это скорее любопытство. То есть я обеспокоен, но когда я на это смотрю, мне кажется неизбежным, что мы столкнёмся с искусственным интеллектом. Но все вопросы открыты: мы не знаем когда, мы не знаем, какую форму он примет, и мы не знаем, что он с нами сделает.

НБ: Да, я считаю, что мы не должны этого избегать, но и слишком уж радоваться тоже не стоит. Скорее, это ворота, через которые нам придётся пройти в какой-то момент. Все реалистичные варианты построения хорошего будущего в какой-то момент требуют развития интеллекта, превосходящего человеческий, то есть машинного интеллекта, поэтому нам стоит сфокусироваться на том, чтобы договориться, насколько это возможно, за то время, что нам осталось до этого события.

ДР: Чтобы подготовиться.

НБ: Для этого, возможно, надо будет исследовать некоторые технические вопросы: как построить эти системы так, чтобы понимать, что они делают, чтобы предсказать последствия для мира. Кроме того, если нам удастся как-то договориться на глобальном политическом уровне, немного мира и любви не помешают, я считаю.

ДР: Конечно, было бы здорово.

НБ: И ещё удержаться от самоуничтожения каким-то другим способом до того, как у нас вообще появится шанс пролезть через эти ворота.

ДР: Да уж, мы вполне способны всё испортить. На каком этапе сейчас находится развитие технологий в сфере искусственного интеллекта? И как нам далеко до «сильного ИИ»?

НБ: Ну, тут у разных людей разные мнения. Честно говоря, очень сложно делать какие-то точные прогнозы по таким вопросам, ведь они всё ещё требуют новых открытий. Конечно, за последние 8–10 лет произошло много всего интересного, глубокое обучение стало революцией. Раньше люди представляли себе ИИ как такого аутиста-саванта: с выдающимися способностями в логике, счёте и запоминании фактов, но без интуиции. Но революция глубокого обучения, когда появились глубокие нейронные сети, в каком-то смысле расшифровала восприятие. Теперь есть компьютеры, которые могут видеть, слышать, обладают визуальной интуицией. Таким образом открылся целый комплекс применений, которые сделали это коммерчески ценным, что привлекает инвестиции… То есть произошёл толчок к развитию машинного обучения, и я стараюсь не отставать.

ДР: Интересно, что когда мы думаем об искусственном интеллекте и потенциальных формах, которые он может принять, то это как в фантастических фильмах — «Открой дверь, HAL!». Мы представляем себе штуку, которая общается с нами, как человек. Пусть она более холодная, не разделяет наши ценности, более прагматично относится к вопросам жизни и смерти и так далее, но когда мы думаем об интеллекте, в нашем представлении он неразрывно связан с человеческими качествами: эмоциями, амбициями и так далее. Это причина, почему мы придумываем инновации: нам они просто нравятся, нам хочется сделать мир лучше, нам хочется решить какие-то свои проблемы, нам хочется превзойти какие-то ограничения человеческого тела и окружающей среды. И мы как бы предполагаем, что созданный нами интеллект тоже будет чем-то мотивироваться.

НБ: Ну, есть довольно большой класс разных структур, которыми можно заниматься. Если вы хотите сделать что-то, что будет обладать когнитивными или интеллектуальными способностями, то большой класс здесь составляют так называемые «агенты». Это системы, которые взаимодействуют с миром для достижения какой-то цели. И если это агенты сложного класса, то они могут планировать наперёд последовательность действий. У более примитивных агентов будут только рефлексы, но у сложного агента будет что-то вроде модели мира, когда он может думать — «Что мне надо сделать, чтобы достичь такого-то желаемого состояния?» — а потом отталкиваться от этого в планировании действий.

Это не единственная когнитивная система, которую можно построить, но это и не какой-то диковинный, нетипичный случай. То есть это вполне естественная цель. Если вы можете чётко обозначить цель, которой хотите достичь, но не знаете, как её достичь, то вполне естественно построить систему, которая имеет ту же цель и является агентом, а потом работает, перебирает разные варианты и в конечном итоге, возможно, научается выполнять эту задачу.

ДР: Предвидишь ли ты разные типы искусственного интеллекта? Например, искусственный интеллект, имитирующий человеческие эмоции? Как ты думаешь: люди создадут что-то очень похожее на нас самих, общающееся с нами на одном языке, или это будет напоминать общение с пришельцем?

НБ: Тут есть разные сценарии. Я предполагаю, что первая сущность, которая достигнет сверхинтеллекта, будет не очень человекообразной. Есть разные возможные пути достичь такого уровня технологий. Один из них — попытаться воспроизвести человеческий мозг. В ограниченном варианте это будет точная силиконовая копия человеческого мозга, где каждый нейрон будет воссоздан. Это представляется технологически крайне сложной задачей, но для неё не понадобится каких-то теоретических прорывов: при наличии достаточно хорошей микроскопии, достаточно мощных компьютеров, достаточной рабсилы всё это возможно. Но мне кажется более вероятным, что прежде чем достичь этого, мы используем какой-то более синтетический подход. То есть это будет очень грубое приближение — например, модель одного лишь неокортекса.

ДР: Да, это один из главных вопросов: можем ли мы воспроизвести все функции человеческого мозга именно так, как он работает, то есть в точности его скопировать, или же можно найти какой-то более продвинутый метод, который даст тот же результат, что и человеческий мозг: то есть сможет считать, рассуждать, выполнять много задач одновременно?

НБ: Да, и ещё я считаю, что, достигнув достаточно высокого уровня такого общего интеллекта, мы сможем использовать его, чтобы имитировать или повторять то, что мы делаем, но по-другому. Не исключено, что у нас кора мозга ограничена и мы вынуждены полагаться на более древние нейронные структуры, мы вынуждены руководствоваться эмоциями и инстинктами, потому что не в состоянии всё просчитать. Лишись мы всего этого, и мы будем беспомощны, но, может быть, система с достаточно высоким уровнем способностей к абстрактному мышлению сможет использовать их для дополнения того, чего ей недостаёт.

ДР: Ты это когда-нибудь обсуждал с Сэмом Харрисом?

НБ: Да, немножко.

ДР: А подкаст с ним записывал?

НБ: Да, вообще-то я был у него на подкасте где-то полгода назад…

ДР: Надо будет мне послушать, потому что у него самый мрачный взгляд на будущее в плане искусственного интеллекта. Он его очень боится. А когда я общаюсь с ним, то и сам начинаю бояться. И Илон Маск из той же оперы. У него тоже очень страшный взгляд на потенциал искусственного интеллекта. Что бы ты им сказал?

НБ: Я согласен, что существуют серьёзные риски, которые несёт в себе переход к эпохе машинного интеллекта. Включая экзистенциальные — то есть угрозы самому существованию человечества и всего, что нам дорого.

ДР: Так зачем мы это делаем?!

НБ: Ну, мы вообще делаем много такого, что лучше было бы не делать. Зачем мы строим тысячи ядерных ракет?

ДР: Ну да, или обезрыбливаем океаны?

НБ: Да. То есть если это буквальный вопрос: почему многие люди работают над исследованиями ИИ и почему разные компании и правительства их финансируют, то объяснений полно: это важная область науки; если это сделает поиск в Гугле на 1% лучше, то это уже стоит миллиард долларов; это стало престижным, и каждая страна хочет иметь свою стратегию, потому что это воспринимается как новый рубеж — как паровые двигатели и индустриализация пару сотен лет назад. Всё это создаёт новые экономические возможности, которые не хочется упустить. Никто не хочется заниматься натуральным сельским хозяйством, пока остальной мир развивается. Причин очень много. Даже если исключить какие-то одни, всё равно останется достаточно, чтобы продолжать эти изыскания.

ДР: Меня больше всего пугает, что если мы всё-таки создадим искусственный интеллект, то он будет усовершенствоваться и создавать куда более сложные версии себя. И продолжит это делать, пока не изменится до неузнаваемости, достигнув буквально богоподобного потенциала. Я забыл конкретные цифры, но какой-то авторитетный источник подсчитал количество усовершенствований, которые мыслящий искусственный интеллект сможет произвести за короткий период времени, если позволить ему обновляться и создавать лучшие версии себя, а потом этим лучшим версиям позволить обновляться и создавать ещё лучшие версии себя. Это уже не экспоненциальный рост интеллекта, а взрывной.

НБ: Ну, этого мы не знаем… Достаточно сложно предсказать даже темп нашего прогресса в ИИ, просто потому что мы ещё не знаем, насколько трудными будут проблемы, которые пока не решены. А когда доходишь до человеческого уровня или немного выше, то кто знает? Быть может, чтобы продвинуться выше какого-то уровня, понадобится много времени и сил.

А вот что проще оценить — так это скорость, потому что это просто функция аппаратного обеспечения. Тут мы знаем, что в принципе есть куда развиваться. Если посмотреть на физику вычислений, если представить себе оптимально организованную физическую систему для вычислений, на много-много порядков превосходящую все наши сегодняшние возможности, то можно представить себе произвольно большие системы. То есть с этой точки зрения мы знаем, что вполне возможны штуки, которые будут в миллион раз быстрее человеческого мозга, с гораздо большим объёмом памяти и так далее.

ДР: Но если эта штука будет в миллион раз мощнее человеческого мозга, то она сможет создать что-то, что будет иметь в миллион раз больше вычислительной мощности, чем она сама. Она сможет создать лучшие версии, продолжать обновляться. Допустим, мы создали что-то и говорим: ты — разумное создание, у тебя искусственный интеллект, теперь, пожалуйста, иди и обновляйся. Продолжай развиваться в том же направлении и усовершенствоваться.

НБ: Да, но мы не знаем, сколько ему понадобится времени в таком случае. У нас уже есть мыслительные мощности, в миллион раз превосходящие человека: миллионы людей!

Поэтому сначала появится ИИ, который по способностям будет равен человеку, однако это всё равно на много порядков меньше, чем способности всего человечества. А за это время, возможно, что-то ещё случится. Возможно, мы как-то усовершенствуем свои способности. По многим параметрам нам настолько трудно хотя бы в чём-то достичь человеческого уровня, что мы тратим огромную массу ресурсов, чтобы едва-едва достичь уровня деревенского дурачка, понимаешь?

ДР: Да.

НБ: И на это идут миллиарды долларов. И если это будет и дальше так развиваться, то займёт довольно много времени, потому что не так уж и просто масштабировать что-то, на создание чего ушли миллиарды долларов.

ДР: Да, некоторые думают, что всё это сильно раздуто, что мы настолько далеко от создания сильного искусственного интеллекта, что это всё просто хайп. Что ты им ответишь?

НБ: Ну, во-первых, я хотел бы, чтобы мы точно определились: насколько далеко это должно быть, чтобы для нас было рациональным это игнорировать? Ведь если это что-то достаточно важное и принципиальное, то пусть даже это не случится в ближайшие 5–10–20–30 лет, всё равно было бы разумно, если бы из всех 7 с лишним миллиардов человек нашлись те, кто думает об этом заранее.

ДР: Несомненно.

НБ: Так что эти разногласия, как мне кажется, во многом скорее поверхностные, чем реальные. То есть одни говорят: «это случится скоро», другие говорят: «нет, это случится нескоро», а потом оказывается, что для первых «скоро» — это 5 лет, а для вторых «нескоро» — это те же 5 лет. То есть это скорее разное отношение, чем разные мнения. Поэтому первым делом я бы удостоверился, что разногласие действительно есть.

А вот если оно таки есть, если кто-то совершенно уверен, что этого не случится ещё много сотен лет, то я бы, пожалуй, поинтересовался причинами такой уверенности. Какие у них данные? Есть ли у них основания быть так уверенными? История технических прогнозов не очень-то впечатляет. Можно найти множество примеров, когда даже ведущие учёные и техники были железно уверены, что чего-то не случится на нашем веку, причём в некоторых случаях это уже успело случиться в какой-то другой части мира или случилось год–два спустя. Поэтому, я считаю, в подобных случаях разумно проявить некоторую эпистемологическую скромность.

ДР: Я смотрел твоё выступление, где ты говорил про развитие инновационных технологий и ВВП за последние 100 лет. Ты говорил, что человек существует совсем недолго и что за этот короткий период времени мы совершили потрясающее количество инноваций и перемен. Ты показывал шкалу ВВП за последние 100 лет. Это с ума сойти! Это настолько сложно для нас, с нашей нынешней позиции простого человека, который просто живёт повседневной жизнью, где всё нормально, осознать эти временные масштабы и увидеть, какие огромнейшие изменения произошли за относительно невероятно короткий промежуток времени!

НБ: Ну да, мы воспринимаем это как норму: утром нас будит будильник, мы едем на работу, сидим весь день за компьютером, стараемся не переедать… И представить, что через 50 или там 100 лет всё это будет совсем другим, кажется какой-то радикальной гипотезой. Но конечно же, это «нормальное» состояние — огромная аномалия, как ни крути. Если посмотреть с точки зрения геологической хронологии, то человеческий вид очень молод. Если посмотреть с исторической точки зрения, то больше 90% времени мы были охотниками-собирателями, потом крестьянами, и только в последние пару сотен лет некоторые части мира избежали мальтузианской ситуации, в которой ты получаешь ровно столько дохода, чтобы произвести на свет двух детей. Взрывной рост населения. Всё это очень и очень недавние события. Ну и в космическом плане тоже, разумеется: там практически везде сверхвысокий вакуум, а мы живём на поверхности крошечной крупинки. При этом мы считаем это нормальным, а всё остальное странным, но я считаю, что всё ровно наоборот.

Поэтому если начертить, к примеру, график мирового ВВП за 10 000 лет — а это, грубо говоря, показатель нашей суммарной производительности — то получится ровная горизонталь, а потом резкая вертикаль. Никаких других колебаний даже не видно, настолько резко пошла вверх производительность человечества. И вот если мы посмотрим на эту картинку, то можем решить, что это норма, что теперь так будет всегда, но вообще-то это маловероятно. По крайней мере совсем не кажется, что у нас сейчас период статичности. Больше похоже, что мы посреди какого-то взрыва.

ДР: И самое странное, что все, кто участвует в этом взрыве, все новаторы и изобретатели новых технологий, все они — часть импульса, который был задан ещё до их рождения. Потому это и кажется нормой. Они просто часть всей этой центрифуги, они запрыгивают туда — рождаются, учатся в колледже, не успели оглянуться — и вот у них уже работа и они делают свой вклад в создание новых технологий, а потом ещё больше людей запрыгивают и добавляют своё. И мало кто понимает историческую значимость такого невероятного взрыва технологий. Если взять упомянутый тобой гигантский скачок, то его никто не ощущает, и в этом чуть ли не главная странность.

НБ: Да, то есть все как бы ожидают, что каждый год будет появляться новый айфон. При этом на протяжении почти всей человеческой истории люди жили и умирали, не увидев абсолютно никакого технического прогресса. Более того, даже целые поколения так жили. Сама мысль о том, что материальные условия развивались по какой-то траектории, — это относительно новая идея. До того историю представляли либо как упадок после некого золотого века, либо как цикличный процесс, но всё это рассматривалось через призму политического строя: вот было великое царство, мудрый правитель правил какое-то время, а потом пару сотен лет спустя его праправнуки погрязли в алчности и воцарилась анархия, а спустя ещё пару сотен лет всё опять возродилось.

То есть разные фигуры менялись местами, но новых фигур не появлялось, а если и появлялись, то такими медленными темпами, что это было незаметно. Но эпохи сменялись, время шло, и вот кто-то немножко усовершенствовал колесо, а кто-то придумал новую систему орошения, стали выращивать больше культур, и в конце концов населения стало достаточно много, чтобы производить новые идеи достаточно быстрыми темпами, чтобы произошла промышленная революция. И вот где мы сейчас.

ДР: Илон Маск дал самое ужасное описание человечества. Он назвал нас биологической загрузочной программой для искусственного интеллекта.

НБ: Ну, это очень важная программа.

ДР: Ну да, важная. Я думаю, тут есть объективный взгляд и личный. Объективно, если бы вы были вне человечества и смотрели со стороны на разные формы жизни, которые борются на нашей планете за ресурсы, за орудия, за выживание, то вы бы посмотрели на человечество и сказали: «ну, очевидно, что оно ещё не закончено, что будет ещё какая-то новая версия». Но когда эта версия появится: через миллионы и миллионы лет, как это исторически было с биологическими организмами, или же человек изобретёт что-то, что его сменит? И это что-то станет новым явлением, чем-то, что не основано на тканях, не основано на клетках, не имеет наших биологических ограничений, не имеет эмоциональных привязок к таким вещам, как размножение, социальное доминирование, иерархичность — всё это для него не имеет никакого значения, никакого смысла, потому что оно не биологическое.

НБ: Ну, я бы не сказал «миллионы лет», тут счёт идёт скорее на десятилетия, но интересно другое: даже если уйти от этого вопроса, если сказать «машинный интеллект невозможен» по какой-нибудь причине — ну, просто для примера — то всё равно нас ждут стремительные перемены, в том числе и биологические. Уже сейчас идёт мощное развитие биотехнологий, и у нас будет всё больше возможностей управлять собственным организмом и повышать человеческие способности с помощью биотехнологий. Так что, хотя и тут перемены будут не мгновенными, для истории это будет очень короткий отрезок времени, и я думаю, мы увидим глубочайшие перемены благодаря использованию бионауки для изменения способностей человека.

ДР: Одна из технологий, один из обсуждаемых вариантов снижения опасности искусственного интеллекта — это потенциальное слияние, некие симбиотические отношения с технологиями. Я точно не знаю, как работает Neralink Илона, но это вроде как шаг в этом направлении: какой-то мозговой имлант, который взаимодействует с внешним устройством и обеспечивает более широкий доступ к интеллекту и знаниям.

НБ: Ну, я скептично отношусь к этой возможности. Конечно, хорошо, что кто-то пытается это сделать, но я считаю, что технически очень сложно улучшить, скажем, когнитивные способности нормального здорового человека посредством имплантов и получить какие-то плюсы, которые нельзя было бы получить с тем же устройством, но вне тела. Мне же не нужен имплант, чтобы пользоваться Гуглом, так? Есть много преимуществ внешнего устройства: его очень легко обновлять…

ДР: Его можно выключить.

НБ: Ну, будем надеяться, что это можно сделать и с имплантом. И когда начинаешь интересоваться подробностями, когда заглядываешь в документацию, то зачастую обнаруживается, что возникают побочные эффекты, у кого-то были головные боли, нарушения речи, инфекции… Короче, биология — очень сложная штука.

Возможно, это получится лучше, чем я ожидаю, но вообще-то я думаю, что сфера, в которой впервые станет возможным повышение биологических способностей человека, — это генетическая селекция. Технологически это очень близко.

ДР: Ты имеешь в виду типа CRISPR?

НБ: Нет, это уже редактирование, когда берёшь и меняешь, и это тоже развивается…

ДР: Тогда что ты подразумеваешь под селекцией?

НБ: Ну, например, возьмём экстракорпоральное оплодотворение: обычно в ходе стандартной процедуры оплодотворения создаётся десяток зародышей. И вот вместо того, чтобы врач просто осматривал этих зародышей и решал: «так, этот выглядит здоровым, его и возьмём», можно будет провести генетический анализ и использовать результаты для отбора зародыша с наиболее желаемыми характеристиками.

ДР: То есть это может стать трендом в человеческом размножении? Вместо случайной цепочки: мы занимаемся сексом, женщина беременеет, рожает ребёнка, мы не знаем, каким он вырастет и что случится, а просто надеемся на лучшее — мы будем смотреть на разные показатели, которые можно измерить?

НБ: В какой-то степени мы это уже делаем: есть множество тестов на разные хромосомные аномалии. Но наша способность видеть дальше, чем отдельные заболевания, видеть не просто один неправильный ген, а более сложную характеристику в целом, быстро развивается. Разумеется, тут есть много этических вопросов… но если говорить чисто с точки зрения технических возможностей — в очень ограниченных рамках это уже доступно сегодня.

Допустим, если проводить отбор по нынешней технологии из десяти эмбрионов, получится обеспечить на 2–3 балла выше IQ. Это очень мало, но по мере развития геномики, расшифровки генетической архитектуры сложных характеристик, будь то интеллект или личные качества, появится больше возможностей для селекции и можно будет получить больше. А ещё есть ряд других технологий, которых у нас пока нет, но если бы они были, то все в комплексе дали бы огромное расширение возможностей. Так что я не думаю, что этому есть какие-то серьёзные технические препятствия, это вопрос дальнейшего постепенного развития.

ДР: Когда ты говоришь о вмешательстве в генетику человека и селекцию, отбор в пользу лучших вариантов, то тут сразу встают вопросы этики. Люди начинают нервничать. Потому что они смотрят на собственные генетические дефекты и думают: «О Боже, а вдруг меня бы не выбрали? Меня бы не было!» А сколько несовершенных людей внесли неоценимый вклад в нашу культуру! Если бы у всех были идеальные гены, может, ничего бы этого и не было.

Что мы делаем, вмешиваясь в природу, выбирая и отбирая характеристики и черты, которые мы считаем самыми положительными и привлекательными?

НБ: Я понял, ты спрашиваешь, что было бы, если бы в какую-то прошлую эпоху была такая возможность как бы закрепить свои предрассудки. Мол, если бы у викторианцев это было, то мы бы все сейчас были ханжами и патриотами.

ДР: Да, или у нацистов.

НБ: В целом что касается всех таких мощных технологий, то я считаю, было бы идеально, если бы мы сначала становились немного умнее, а потом уже получали все эти мощные инструменты, но похоже, что мощные инструменты достанутся нам раньше, чем мы поумнеем.

ДР: Да. Мы до них ещё не доросли. Вообще, если подумать о технологиях, которыми мы все пользуемся — сколько разных технологий мы используем каждый день и сколько из них мы понимаем? Большинство людей имеет очень смутное представление о том, как устроены вещи, которыми они пользуются. Они не приложили никаких усилий для создания этих вещей, однако унаследовали ответственность за ту силу, которая в этих вещах заключена.

НБ: Да, но это единственный способ. Это слишком сложно для любого человека. Если бы пришлось учиться создавать каждый инструмент, которым пользуешься, мы бы недалеко ушли.

ДР: Но ведь это поразительно: если посмотреть на людей и на всё то, что мы делаем, то мы очень плохо понимаем устройство большинства вещей, которые необходимы нам в повседневной жизни. Мы просто пользуемся ими, потому что нас очень много и есть много людей, которые действительно разбираются в этих сложностях, и коллективно мы можем использовать интеллект всех этих миллионов людей-новаторов. И мы без малейшего труда просто идём в магазин и покупаем новый телефон.

НБ: Да, и это не только технологии, но и мировоззрения, и политические взгляды. Ведь большинство людей не пытается с нуля придумать базовые принципы идеального государственного устройства. Ты это просто как бы впитываешь и плывёшь по течению. Это ведь поразительно, насколько малая доля этого проходит через твоё сознательное внимание, то есть влияет на принятие каких-то рациональных, произвольных решений. Чаще всего ты просто плывёшь по течению. Но опять же, если это то, с чем приходится работать, то других вариантов нет.

ДР: Да, других вариантов нет. Других вариантов нет, и даже когда мы с тобойобсуждаем историю этого поразительного скачка эволюции, точнее, инновации и технологий, это не кажется чем-то эдаким. Это кажется нормальным. Хоть мы и можем тут умничать, как это страшно, что всё движется с такой невероятной скоростью — и никто не нажмёт на тормоза, никто не думает о возможных плюсах и минусах, мы просто мчим вперёд…

НБ: Ну, не никто — некоторые люди этим занимаются, да и мои исследования как раз об этом. Когда я начинал интересоваться этими вопросами в 1990-х, это была совсем маргинальная сфера — просто какая-то рассылка в интернете, где люди обменивались идеями, а сейчас есть ряд научно-исследовательских институтов, которые пытаются более системно изучать эти глобальные темы.

ДР: А когда это стало казаться возможным? Вот ты начал заниматься этим в 1990-е, когда это была очень маргинальная, фантастическая идея — сильный искусственный интеллект…

НБ: А, то есть мы говорим конкретно про ИИ?

ДР: Да.

НБ: Ну, вообще-то сама область искусственного интеллекта родилась в 1956 году после одной конференции — это приблизительно, но примерно тогда всё и началось. Причём первопроходцы ещё с самого начала думали, что у них получится делать всё то, что делает человеческий мозг. Вообще они были довольно оптимистичны: они думали, им понадобится лет 10 или около того.

ДР: Уже тогда?

НБ: Да, многие из них.

ДР: Вот как! Даже до появления компьютеров?

НБ: Нет, компьютеры в 1956-м уже были.

ДР: В 50-е? Какие это были компьютеры?

НБ: Медленные.

ДР: А когда изобрели компьютер?

НБ: Ну, это как посмотреть. Во время Второй мировой войны были ЭВМ, которые выполняли разные задачи, а до того были табуляторы, а до того уже были чертежи машин, которые, если бы их построили, могли бы производить большие вычисления, а до того были счёты… То есть можно провести линию от появления какого-то внешнего инструмента типа блокнота — ведь считать большие числа проще, когда пишешь на листе бумаги, — до современного суперкомпьютера, можно разбить это на маленькие шажочки, происходившие постепенно. Но вообще где-то с 1940-х годов.

ДР: И уже тогда думали, что до появления ИИ осталось всего лет 10?

НБ: Нет, это уже в середине 1950-х, когда появилось выражение «искусственный интеллект». Тогда некоторые исследователи ИИ довольно оптимистично смотрели на скорость его развития. Даже был такой летний проект с участием студентов, где я думал: «О, за лето мы сможем решить зрение». И вот сейчас мы наконец-то решили зрение, но прошло-то уже 60 лет! В общем, очень сложно оценить трудность задачи, пока она не решена.

Но я вполне понимаю, почему они так заблуждались: очень сложно определить, займёт ли работа 10 лет или 100 лет, до того, как она началась. Интересно другое: даже те, кто думал, что это займёт 10 лет, как-то не задумывались над тем, каким будет следующий логический шаг. Скажем, вам удалось механизировать все функции человеческого разума. Очевидно же, что на этом никто не остановится — достигнув человеческого эквивалента, мы пойдём дальше и придём к сверхинтеллекту. Но такое ощущение, будто они истратили весь запас воображения на смелую фантазию о машине, равноценной человеку, и у них уже не хватало сил задуматься: а что же будет дальше? Не говоря уж о далеко идущих этических и социальных последствиях. Даже если бы вы могли только скопировать человеческий разум и на этом остановиться, причём собирались сделать это за 10 лет, было бы безумием не думать о том, как это повлияет на мир! Однако же не думали почему-то.

ДР: Похоже, что иногда людям просто очень хочется что-то сделать. Взять хотя бы создание атомной бомбы — считалось, что мы должны опередить немцев.

НБ: Да, но то была вполне конкретная причина. Никто не собирался делать это просто из любопытства. Манхэттенский проект был запущен во время войны. Многие подозревали, что у Гитлера есть аналогичная программа, поэтому здесь вполне очевидно, что двигало разработчиками. Но ещё до начала Манхэттенского проекта был учёный, который первый выдвинул идею о ядерном взрыве, — Лео Силард. Это был такой физик-эксцентрик, первым описавший цепную реакцию. Тогда уже было известно, что если расщепить атом, то произойдёт небольшой выброс энергии, но если расщеплять атомы по одному, то выброс будет слишком слабый. А цепная реакция — это когда мы расщепляем атом, он даёт два нейтрона, и каждый из них может расщепить ещё два атома, что даст четыре нейтрона — и так по экспоненте, что приводит к взрыву.

И вот он придумал это где-то в начале 1930-х, точно не вспомню, но он был уникальным человеком. Другой бы подумал: «отличная идея, надо её опубликовать и прославиться», а он задумался: «Что это будет значить для мира? Ведь это может быть опасно для всей цивилизации!» После чего он попытался убедить своих коллег, которые тоже занимались ядерной физикой, не публиковать результаты в этой области. Причём он добился кое-каких результатов: некоторые результаты не были опубликованы сразу. Не всего коллеги его послушались…

ДР: Ну конечно! В этом же и проблема — всегда найдутся те, кто хочет быть автором инноваций.

НБ: Это проблема в тех случаях, когда мы предпочли бы обойтись без инноваций. Но в исторической перспективе, оглядываясь назад, мы, конечно, радуемся, что многие несогласные победили, потому что многие культуры упорно сопротивлялись инновациям — будь то общественным или техническим — и хотели, чтобы всё делалось по старинке. Например, китайцы когда-то были главной морской державой мира, китайские мореплаватели исследовали весь земной шар, а потом всё это закончилось, потому что новому императору это пришлось не по нраву. Есть много примеров застоя, но покуда в мире существует много разных стран и много разных изобретателей, другие страны всегда могут подсмотреть и скопировать то, что работает. Так и двигается прогресс.

Разумеется, если вы не хотите, чтобы какая-то технология появилась, то эта многополярность оказывается во вред. Практически невозможно договориться и решить чего-то не делать. Я вообще считаю, что это структурная проблема человечества, которая станет причиной множества экзистенциальных рисков в ближайшие сто лет: неспособность сообща решать проблемы на глобальном уровне.

ДР: Смотри, что получается: Оппенгеймер и прочие руководители Манхэттенского проекта работали как раз в ответ на экзистенциальную угрозу со стороны нацистской Германии, Японии, Второй мировой… То есть вот есть реальная империя зла, которая хочет захватить мир, и это толкает нас к тому, чтобы разработать потрясающую технологию, которая теперь даёт нам большую часть электроэнергии, а также ядерный арсенал, который может многократно уничтожить всю планету. То есть всё начиналось с ужасного момента истории, когда империя зла хотела захватить мир, а мы в ответ изобрели величайшее оружие, сбросили бомбы на пару городов, и вот прошло 80 лет — мы уже не сбрасываем бомбы на людей, но они у всех есть и нацелены друг на друга…

НБ: Не у всех! И это хорошо, по-моему.

ДР: Не у всех, но у многих. Но самое поразительное, что за созданием этой потрясающей технологии стояла необходимость дать отпор злу.

НБ: Ну, войны всегда мобилизовали учёных. Но вообще я думаю, что ядерная энергетика появилась бы в любом случае, пусть на 5 или 10 лет позже. Реактор — это не так уж и сложно. Я допускаю, что мы могли бы получить все плюсы ядерной энергии без создания ядерной бомбы.

ДР: А ты следишь за Boston Dynamics, которые постоянно создают каких-то роботизированных тварей?

НБ: У них просто талант создавать каких-то зловещих ботов.

ДР: По-моему, любой автономный робот выглядит зловеще.

НБ: Нет, ну посмотри на японских роботов: большеглазые, обтекаемые…

ДР: Они хотят усыпить нашу бдительность!

НБ: …а у Boston Dynamics всё выглядит так, будто они очень хотят получить финансирование Пентагона.

ДР: О да, Управления перспективных исследовательских проектов. Они выглядят как прототипы Терминаторов. Но я вот о чём думаю: допустим, настанет день, когда роботы будут за нас воевать — наши роботы против их роботов — и это станет следующим толчком для технических инноваций. То есть чтобы победить более сильных советских или китайских роботов, люди начнут создавать безумные технические инновации.

НБ: Ну, начнём с того, что стимулов для технических инноваций — например, коммерческих — и так предостаточно, без всяких войн и военных угроз. Кроме того, возможно, будет введён запрет на летальные автономные вооружения — как, например, существуют довольно успешные запреты на химическое и биологическое оружие, которые в целом соблюдаются. Существуют соглашения о нераспространении ядерного оружия — конечно, сейчас оно имеется у, не знаю, дюжины стран или около того, но это всё равно лучше, чем 50 или 100 стран. Есть и другие запрещённые вооружения: ослепляющие лазеры, мины, кассетные бомбы. Есть мнение, что точно так же нам надо поступить и с летальными автономными вооружениями. Многие задаются вопросом: а нужна ли человечеству очередная гонка вооружений по созданию роботов-убийц? Многие считают, что не нужна.

Многие мои друзья поддерживают эту кампанию по запрету, но лично я стою немного в стороне, потому что не вполне понимаю, что именно предлагается запретить. То есть я совершенно согласен, что нам не нужна гонка вооружений по разработке киллерботов. Но если разобраться, что именно хотят запретить, то всё упирается в понятие автономности: то есть робот не должен сам принимать решения, когда открыть огонь. Но если альтернатива этому — какой-то 90-летний мужик, который сидит у себя в кабинете и нажимает на кнопку «Огонь» каждый раз, когда на экране появляется надпись «Огонь», то я не вижу, какая польза от этого лишнего шага.

ДР: Нам так спокойнее. Почему-то спокойнее, когда кто-то нажимает кнопку.

НБ: Да, но что конкретно это означает? Просто решение открыть огонь или чёткие указания: «атаковать надводные суда в этой точке, общие параметры такие, не стрелять за пределами таких-то координат» и так далее? Есть ещё и такой момент: конечно, было бы лучше, если бы войн вообще не было, но раз уж они есть, так может, лучше пусть роботы стреляют в роботов? Если уж есть бомбардировки, так может, лучше пусть будут высокоточные бомбы, чем с низкой точностью, чтобы было меньше гражданских жертв?

ДР: И при этом управляемые искусственным интеллектом?

НБ: Это уже зависит от ситуации. С другой стороны, можно представить себе, что это понизит порог для начала войны: если мы не боимся жертв, то с большей готовностью будем воевать. Или эта технология распространится, и киллерботы размером с комаров попадут в руки террористов, что будет очень опасно: у нас уже есть технология распознавания лиц, то есть можно будет просто насылать ботов на кого угодно, и мы получим антиутопию.

ДР: С рациональной точки зрения мы думаем, что человечество хочет мира и спокойствия, но если посмотреть реалистично, то в ситуации военного противостояния каждая сторона захочет иметь самые мощные вооружения, какие только возможны, чтобы иметь максимальное преимущество. Именно поэтому нам было важно первыми создать атомную бомбу и именно поэтому мы первыми создадим или попытаемся создать автономного робота-киллера. Иначе он окажется у кого-то другого.

НБ: Конечно, на опережение. Именно поэтому я и говорю, что это проблема глобальной координации. Одна страна не может обеспечить мир во всём мире. Для этого надо, чтобы все согласовали свои действия, и тогда возможен успех, как в случае с упомянутыми договорами. Скажем, у нас не было гонки биологических или химических вооружений. Разумеется, всегда есть нечестные игроки, даже в сфере биологического оружия — например, у Советского Союза была масштабная программа — но всё равно разработок и применений гораздо меньше, чем если бы соответствующего договора не было. Кроме того, если посмотреть, сколько денег из года в год выкидывается на поддержание ядерного арсенала, чтобы мы могли поубивать друг друга, если вдруг понадобится, то это явно не самый разумный вариант. Но прийти к согласию трудно.

ДР: Хотелось бы надеяться, что однажды наступит момент, когда всё это будет не нужно, потому что войн больше не будет.

НБ: Давай посмотрим на основные шаги, которые делались в этом направлении. После Первой мировой люди вроде как опомнились и стали говорить: «Война — это ужасно. Целое поколение полегло под огнём пулемётов. Надо сделать так, чтобы это никогда не повторилось». И вот основали Лигу Наций, но не наделили её достаточной властью. Затем случилась Вторая мировая война, и опять, пока это было свежо в памяти людей, они сказали: «Никогда снова!» и создали Организацию Объединённых Наций, а в Европе — Европейский Союз, тоже отчасти созданный для недопущения конфликта. Но опять же, ООН наделена ограниченной властью и почти не может принуждать к соблюдению договоров, плюс есть право вето, которое ещё больше усложняет дело, если между крупными державами возникают разногласия. Так что не исключено, что после третьего глобального конфликта люди скажут: «ну всё, на этот раз мы должны решить эту проблему раз и навсегда, наделить какую-то организацию достаточной властью, чтобы это не повторилось».

ДР: Чтобы не допустить второй войны роботов. Осталось пережить первую!

НБ: Да, потому что воспоминания забываются.

ДР: Да, в том-то и проблема.

НБ: Да взять хотя бы Холодную войну! Я швед, наша страна была как бы посередине между двумя полюсами, и в школе нам рассказывали про радиоактивные осадки и прочие штуки. Тогда было вполне конкретное ощущение, что в любой момент может случиться какой-то просчёт или кризис и всё закончится войной. Причём это чувство пронизывало всё общество, от школьников до членов правительства. И мне кажется, что вот эта память о том, как страшно было жить в мире, всё время висящем на волоске от ядерной войны, постепенно стёрлась, и теперь мы говорим: «ну, мир же не взорвался, так что, может, не так уж это было и страшно». По-моему, это очень неправильно — это всё равно как сыграть один раз в русскую рулетку и выжить, а потом сказать: «ну вот, русская рулетка совсем не опасна, сыграю-ка я ещё разок». Надо понимать, что если вероятность уничтожить весь мир во время Холодной войны составляла 10% или 30% и нам повезло, то это не значит, что можно начинать всё сначала.

ДР: Когда я учился в школе, это была реальная угроза. Мы все дико боялись, что может случиться война с Советским Союзом, это было очень серьёзно. Если спросить у людей моего поколения, все они помнят это чувство школьных лет: что в любой момент может начаться война ядерных сверхдержав. А сегодня всё это забыто — те ощущения, тот страх. Сегодня все настолько уверены, что этого не произойдёт, что даже не думают об этом.

НБ: Ну да, а потом начинаются манёвры, на кону стоят честь и репутация, и вот уже мы оказываемся в ситуации, где нельзя даже сказать о другой стороне ничего хорошего, чтобы тебя тут же не записали в трусы и предатели. И с той стороны происходит то же самое, та же внутренняя динамика. Обе стороны начинают говорить друг о друге гадости, из-за чего ненавидят друг друга ещё сильнее, и в какой-то момент ситуация становится почти необратимой. Чем дальше, тем сложнее остановиться. Поэтому гораздо предпочтительнее было бы вообще не становиться на эту скользкую дорожку.

ДР: Ты видел роботов Boston Dynamics. А разрабатывается ли что-то подобное в Советском Союзе, Китае или ещё где-нибудь?

НБ: Ну, мне кажется, многие изобретения Boston Dynamic предназначены скорее напоказ, чем для практических целей. Типа каких-то зверообразных штук, которые движутся на громкости 150 децибелов. Если бы я проводил спецоперацию по внедрению в здание, вряд ли бы мне пригодились такие шумные роботы. Но вообще я думаю, что большинство разработок будут вестись в области летающих дронов, подводных аппаратов, ракет и тому подобных вещей.

ДР: Но когда ты видишь этих роботов в виде собак или насекомых — если представить себе, что они вооружены стволами, то это уже не показуха, это довольно-таки эффективно выглядит, разве нет? Их даже перевернуть невозможно!

НБ: Я думаю, если что-то вооружено стволом, то уже неважно, как оно выглядит — как собака или просто как летающая платформа. Мне кажется, в целом в области ИИ и робототехники действует простое правило: чем эффектнее что-то выглядит, тем это менее интересно с технической точки зрения. Самый крайний случай — это роботы, которые выглядят в точности как люди, типа робота в виде красивой женщины. Это всё чушь.

ДР: Как в фильме «Из машины»?

НБ: Ну, это же кино, там важна зрелищность. Но время от времени появляются пресс-релизы… Я забыл, как звали эту женщину-робота, которая внешне неотличима от человека и чуть ли не получила гражданство Саудовской Аравии, что ли, года два назад, но это всё чистая показуха. СМИ такое обожают: «ого, они создали человекоподобного робота, это величайший прорыв!», но на деле это пустышка.

ДР: Но когда ты смотришь «Из машины», тебе это кажется в принципе реалистичным? Что мы сможем, например, через 100 лет создать искусственного человека, неотличимого от настоящего?

НБ: Ну, я считаю, что здесь всё будет упираться не столько в робота, сколько в его мозги, то есть ИИ. Подобные прорывы в робототехнике возможны только при появлении более продвинутых алгоритмов обучения. К примеру, современный робот — из тех, что используются на крупных заводах, — это такая слепая бездумная штука, которая раз за разом выполняет заложенную последовательность действий. Хочешь изменить производство — надо звать инженеров, которые его перепрограммируют. А человеку можно пару раз показать, как что-то делается, и он научится это делать. Думаю, в ближайшие несколько лет будет очень интересно посмотреть на прогресс в робототехнике именно в отношении такого имитационного обучения. Уже есть какие-то демонстрации, но пока это недостаточно эффективно, чтобы можно было отказаться от специалистов по промышленным роботам.

Что касается человекообразных роботов, то это скорее из сферы Голливуда и пресс-релизов, чем реальный фактор технического прогресса.

ДР: Пусть это и не фактор прогресса, но кто-нибудь обязательно попытается воссоздать человека, как только эта технология станет доступной. Ты вообще смотрел фильм «Из машины»?

НБ: Наверное. Я смутно помню. Я какие-то фильмы видел на эту тему, а какие-то нет.

ДР: «Из машины» — это про парня, который живёт в уединённом уголке…

НБ: А, да, в таком красивом месте, да, я смотрел.

ДР: …и он создал красивую девушку-робота, которая соблазняет другого мужчину, а в конце концов запирает его внутри, садится на вертолёт и улетает. И самое пугающее здесь то, что она знала, как манипулировать его эмоциями, чтобы получить желаемый результат — чтобы он помог ей сбежать — но при этом у неё не было настоящих эмоций. Несмотря на все крики, она оставила его умирать в этой клетки, без капли сочувствия и сострадания села в вертолёт и бросила его подыхать от голода. Мне кажется, именно это и пугает людей: вдруг мы создадим что-то, что обладает интеллектом, как у нас, но при этом не обладает всеми прочими нашими качествами — любовью, заботой, состраданием, дружбой, потребностью в других людях. Если это действительно автономный робот, то люди ему ни к чему. Это самое страшное — мы ему не нужны!

НБ: Но в данном случае неважно, робот это будет или просто программа — главное, что у неё есть способность к стратегии, обману и так далее. Но если посмотреть на прочие элементы этого фильма, то это хороший пример, почему не стоит брать свои представления о будущем в Голливуде. Там какой-то один парень, видимо, гений, живёт в уединении и разрабатывает всю систему с нуля в одиночку, тогда как на самом деле всё происходит совершенно иначе: сотни людей каждый день программируют у компьютеров, пишут формулы на досках и обмениваются идеями с другими людьми по всему миру; результат их работы совсем не похож на человека; руководствуются изобретатели вполне реальной экономической выгодой, а не какими-то прометеевыми идеалами. Понятно, что на этом не построишь захватывающий сюжет.

Иногда мне кажется, что люди всерьёз представляют себе будущее, как какую-то борьбу суперзлодея с героем, когда судьба мира зависит от двух человек, у них происходит решительная схватка и всё это на персональном и локальном уровне. Хотя на самом деле происходящее в мире зависит от множества разрозненных факторов, от монотонной бюрократической работы…

ДР: Да, это претензия, которую многие высказывали к этому фильму: один мужик, который продвинулся в своих изобретениях настолько дальше всего мира, — это смешно, конечно. Типа он сам всё построил в каком-то изолированном комплексе. Но зато это зрелищно: вертолёт высаживает тебя в удалённом месте, и этот мужик показывает тебе своё уникальное изобретение, которое изменит весь мир.

НБ: Да, смотрится очень красиво. Запросто представляю себе какой-нибудь санаторий для писателей, например.

ДР: Представим себе классический образ инопланетян: это такие маленькие серые существа без половых органов, с большими головами и чёрными глазами. Я не раз задумывался: а что, если такое представление об инопланетянах — это наша подспудная мысль об искусственной жизни? То есть мы осознаём биологические ограничения своего организма при космических перелётах: это и радиация, и смерть, и потребность в пище и так далее. Поэтому мы бы создали искусственные штуки, которые летали бы вместо нас; собственно, мы так уже и поступили, отправив на Марс марсоход. А следующий шаг — это автономное существо с искусственным интеллектом, у которого нет наших биологических ограничений, которое не боится радиации и так далее. У него огромная голова, у него нет половых органов, потому что они ему не нужны, оно может управлять кораблями и переносить невероятную перегрузку на огромных космических скоростях. И вот, когда мы представляем себе жизнь на других планетах, мы думаем, что они будут внедрять те же инновации, то есть они тоже создадут искусственных существ, которые будут выполнять всю грязную работу, чтобы не рисковать собой.

НБ: Вот только они могут изобрести что-то совсем иное. Скажем, если у тебя есть космический корабль, тебе вовсе не обязательно создавать маленькое существо, которое будет крутить штурвал. Всё это можно автоматизировать. Вообще, если говорить о серьёзных космических перелётах, то подобные вещи будут, скорее всего, работать на нанотехнологиях. То есть у них будет возможность произвольно видоизменять материю в любой форме, строить из неё что угодно. Это не будет человек в кресле за штурвалом — это может быть какой-то зонд наноскопических размеров, спрятанный в куске камня и передающий информацию на далёкий компьютер размером с целую планету. Я думаю, что скорее всего колонизация космоса будет происходить именно так. То есть это будут не существа из плоти и крови, управляющие звездолётами и попадающие в приключения а-ля «Звёздный путь». Это будет какая-то сферическая граница, которая движется в стороны от своей планеты со скоростью, приближенной к скорости света, и превращает всё на своём пути в инфраструктуру того типа, который максимально ценен для данной цивилизации. Например, компьютеры или пусковые установки, чтобы запускать новые зонды, чтобы эта волна продолжала расходиться дальше.

ДР: Если человечество и дальше будет расти и попытается распространиться по вселенной, заселить другие планеты, то, я думаю, мы не остановимся на роботах, а попробуем заселить их биологически. Так вот, ты упоминал, что одно из применений искусственного интеллекта — это то, что он ускорит нашу возможность путешествовать в другие места или на другие планеты.

НБ: Я имел в виду, что мы обязательно попытаемся это сделать — более того, уже сейчас некоторые пытаются. Но я считаю, что эти попытки не увенчаются успехом, пока не произойдёт какая-то серьёзная техническая революция. Скорее всего, это будет машинный сверхинтеллект, вслед за которым очень быстро наступит технологическая зрелость. Как только инновации будут происходить на цифровой временной шкале, а не на человеческой, тогда все наши фантазии о том, чего бы мы могли достичь за 40 000 лет — колонизировать космос, обернуть вспять старение и так далее — станут возможны в телескопическом масштабе. То есть мы довольно быстро достигнем условий, в которых технология станет оптимальной для экономически выгодной колонизации космоса: достаточно будет послать маленький зонд, который приземлится среди каких-то ресурсов и создаст производственные мощности для создания новых зондов, которые экспоненциально распространятся. А затем, когда эта инфраструктура уже построена, можно будет транспортировать и биологические тела, то есть живых людей, на другие планеты, если захочется. Но это уже будет второстепенно.

ДР: А что, если возникнет какая-то угроза Земле? Например, столкновение с астероидом?

НБ: На таком уровне технического развития предотвратить столкновение с астероидом будет задачей элементарнейшей.

ДР: Серьёзно?!

НБ: Это будет энергетическим подарком. «О, отлично, бесплатный пакет энергии!»

ДР: Интересный у тебя подход. Как ты думаешь, мы когда-нибудь колонизируем Марс?

НБ: Только когда (и если) мы совершим этот технический переход. А в таком случае, думаю, мы колонизируем не только Марс, а все доступные уголки вселенной.

ДР: Обсуждая такие вещи, люди всегда хотят знать: когда? Как ты считаешь, когда всё это произойдёт?

НБ: Я бы сказал, после достижения технологической зрелости, то есть после сверхинтеллекта. Что касается Марса, то вполне возможно, что произойдёт какая-то прототипная колонизация, потому что людей очень увлекает эта тема. Легко представить себе какой-то демо-проект в обозримом будущем. Но если говорить о долгосрочной колонизации, которая сохранится даже после исчезновения Земли, то есть о какой-то самодостаточной цивилизации, то это, я думаю, будет очень и очень сложно до появления сверхинтеллекта и элементарно — после.

ДР: То есть ты считаешь, что одним из применений сверхинтеллекта может быть терраформирование Марса — чтобы его атмосфера была пригодной для биологической жизни, чтобы он стал нашей запасной площадкой или, например, курортом.

НБ: Да. Но надо понимать, что технологическая зрелость — это очень радикальный контекст. Возможно, это будут какие-то новые технологии, которых мы ещё даже представить себе не можем, но даже известные нам технологии, не противоречащие законам физики, которые мы можем себе представить, но которых пока не существует в виде устойчивых структур, дают огромный простор возможностей. Например, я считаю, что по достижении технологической зрелости можно будет загрузить человеческий разум в компьютер.

ДР: Ты думаешь, это случится? Как предсказывал Рэй Курцвейл?

НБ: Я думаю, что по достижении технологической зрелости это будет технически возможным. Случится ли это? Это зависит от двух вещей: а) достигнем ли мы технологической зрелости? И б) захотим ли мы использовать эту технологию в этих целях? Но и то и другое кажется вполне реальным.

ДР: Да, особенно на фоне всего того, что мы уже достигли. Если бы у меня была машина времени, которая может отправить тебя на тысячу лет в будущее, ты бы согласился?

НБ: Честно говоря, меня даже долгий перелёт утомляет.

ДР: Но если бы это было мгновенно?

НБ: А назад я смогу вернуться?

ДР: Нет.

НБ: Ну… Скорее всего, нет. Не знаю. Это вызывает у меня некоторую опаску. По крайней мере я бы хорошенько подумал, прежде чем согласиться. Кроме того, меня тут многое держит — родные и близкие, рабочие проекты… Есть и ещё один нюанс: если я хочу оставить какой-то след, если мы сейчас действительно живём в такой уникальный исторический период, когда долго-долго ничего не происходило, а теперь начало происходить, но при этом ещё не слишком поздно и сверхинтеллект нас не завоевал… Если всё это правда, значит, мы живём в уникальное время, когда наши действия могут иметь последствия космологических масштабов. Мы можем повлиять на то, как именно будет происходить переход к машинному сверхинтеллекту, можем стать невероятно влиятельными, и если ты хочешь сделать что-то хорошее для мира, то лучшего времени для жизни просто не придумаешь.

ДР: То есть сейчас как раз золотой век.

НБ: Да, в том смысле, что наши поступки могут иметь огромные последствия.

ДР: Кроме того, это совершенно уникальный переходный период между старым и новым. Сейчас самый разгар этого перехода. Скажем, интернет существует всего 20 с лишним лет, мобильные телефоны — по крайней мере массово — всего лет 15, всё это очень новые явления. Сейчас сумасшедшее время, когда всё меняется с невероятной скоростью. Если человек из будущего захочет ощутить эпоху великих перемен, он отправится в наше время. Скажем, если можно было бы отправиться в любой момент истории и испытать на себе те реалии, я бы выбрал Древний Египет, эпоху фараонов…

НБ: А можно было бы выбрать, кем ты там будешь?

ДР: Да нет, просто посмотреть со стороны, понаблюдать за той жизнью. Но если бы я был из будущего…

НБ: Прошу прощения, просто из любопытства: а как ты себе представляешь ту жизнь? Что бы ты увидел?

ДР: Ну, я очень много и серьёзно думал о строительных методах древних египтян. Я бы очень хотел увидеть строительство пирамид. Сколько времени на это ушло? Как они это сделали? Мы до сих пор не знаем, у нас есть только теории о том, как они могли их построить с такой точностью. А точность там потрясающая — они астрономически соответствуют отдельным точкам в солнечной системе и созвездиям. Я бы очень хотел увидеть, как они это сделали, как это планировалось, как воплощалось, сколько людей и сколько времени им понадобилось… Сейчас у нас есть только догадки, огромный массив информации был потерян при пожаре в Александрийской библиотеке, но до сих пор остались иероглифы и громадные физические постройки, которые поражают воображение. Посмотри на пирамиду Хеопса, в которой больше двух миллионов камней! Как у них получилось? Как её спроектировали? Как туда все эти камни притащили? Я бы очень хотел поприсутствовать при строительстве пирамид и просто посмотреть.

НБ: Думаю, это было бы популярным направлением для туризма во времени. Я бы ещё отметил, что когда мы представляем себе то время, то мы сразу думаем о пирамидах, рабах и так далее, но ведь для подавляющего большинства египтян жизнь состояла совсем не из этого, а из прополки огорода, укладывания ребёнка и так далее — типичных моментов человеческой жизни.

ДР: Конечно! Но кстати, сейчас учёные считают, что это не рабы строили, что это были квалифицированные рабочие. Исходя из их питания, исходя из принадлежностей, найденных на местах стоянки рабочих, говорят, что это были высококвалифицированные рабочие, а не рабы. Раньше считалось, что это были рабы, но теперь по костям определили, что они слишком хорошо питались, да и уровень сложности строительства слишком высокий. Предполагают, что в Египте были профессиональные инженеры-конструкторы, которые совместными усилиями спроектировали эту стройку, но всё равно это загадка. Поэтому я бы отправился в то время. Вообще, конечно, было бы здорово посмотреть на разные эпохи инноваций. Например, пожить в эпоху Чингисхана или в эпоху великих войн двухтысячелетней давности, просто чтобы увидеть это своими глазами. Но особенно интересно увидеть пирамиды.

Так вот: если бы я жил в каком-то антиутопическом будущем, где всем заправляет искусственный интеллект, где все люди подключены к общей сети через нейроимпланты и тоскуют по эпохе биологической независимости, было бы очень интересно посмотреть на время, когда впервые стали изобретать телефоны, когда впервые стал массово доступен интернет, когда кто-нибудь вроде тебя приходил вот на такой подкаст, чтобы обсудить, куда заведёт нас искусственный интеллект…

НБ: Это самое интересное время! И оно сейчас!

ДР: Вот именно! Что особенно классно, это уникальный такой период великих перемен: мы всё ещё люди, но мы беспокоимся о своей приватности, мы боимся, что телефоны нас прослушивают, мы переживаем из-за наблюдения, люди заклеивают камеру ноутбука… То есть мы предчувствуем это, но оно ещё не вполне наступило. Мы просто предвидим, какие проблемы возникнут из-за повсеместного присутствия техники в нашей жизни.

НБ: Да, это действительно странно, когда смотришь на все эти разрозненные детали… Невольно думаешь: «что-то это не похоже на совпадение». То есть возможно, конечно, но всё-таки…

ДР: Не понял, в каком смысле «не похоже на совпадение»?

НБ: Ну, рассуждая чисто интуитивно — какова вероятность жить в самый интересный период истории? Быть чуть ли не знаменитостью? Довольно-таки низкая, да?

ДР: Ты сейчас про меня?

НБ: Да нет, про всех нас. То есть может быть и так — ведь если проводится лотерея, то кто-то должен выиграть. А может быть, мы ошибаемся и не видим общей картины, а наш опыт, на самом деле, вполне типичен.

ДР: Я как раз хотел об этом сказать! Итак, задумывался ли ты о том, что всё это — симуляция?

НБ: Конечно. Вообще-то это я сформулировал доказательство симуляции в начале 2000-х.

ДР: Ну да. Разумеется, я в курсе, что ты сформулировал доказательство и много над этим работал, но мне интересно лично твоё отношение. То есть насколько эта гипотеза влияет на твоё восприятие реальности?

НБ: Ну, трудно сказать. Большую часть времени я об этом не особенно думаю, я просто живу. Но надо понимать, что моя работа — задавать глобальные вопросы, поэтому это часть моей работы. Размышляя о нашем положении, о возможных вариантах будущего, о доступных нам рычагах влияния на мир, о правильных и неправильных способах использовать эти рычаги, приходится рассматривать все возможные ограничения и соображения. В таком контексте это важно. А в повседневной жизни совершенно бессмысленно постоянно привлекать гипотезы о природе реальности, потому что большинство бытовых явлений работают одинаково, независимо от того, симуляция это или базовая физическая реальность. Всё равно приходится лезть в карман за ключом, чтобы завести машину. В каком-то смысле эта гипотеза просто не берётся в расчёт, потому что ей можно пренебречь в практических целях.

ДР: Ты помнишь, как впервые задумался о возможности симуляции?

НБ: Нет. То есть я помню, когда мне пришло в голову само доказательство, а мысли о возможности, наверное, всегда возникали — «а может, это всё сон», «а может, это всё симуляция», это несерьёзно. А вот доказательство, на котором базируется гипотеза симуляции, сводит всё к трём конкретным вариантам.

ДР: Что это за варианты?

НБ: Первый — что почти все цивилизации на нашем нынешнем уровне технического развития погибают раньше, чем достигнут технологической зрелости. Это первый вариант. Довольно безрадостный.

ДР: Можешь дать определение технологической зрелости?

НБ: Это разработка хотя бы всех тех технологий, которые мы сегодня считаем физически возможными. В том числе технологии создания очень больших и мощных компьютеров, на которых можно будет запускать подробную симуляцию сознательных индивидов.

Так вот, я описал пессимистичный сценарий: если почти все цивилизации нашего уровня не доходят до этого этапа, то дело плохо, потому что это значит, что и нам не светит.

ДР: Это первый вариант, да?

НБ: Да, это первый. Второй вариант — у всех технологически зрелых цивилизаций происходит сильная конвергенция, так что они теряют интерес к созданию симуляций предков, к созданию детальных компьютерных симуляций разумных людей, похожих на их исторических предшественников. То есть у них есть для этого компьютерные мощности, но по какой-то причине они решают этого не делать. Возможно, это этический императив, возможно, что-то другое. На самом деле мы мало что знаем про этих постчеловеческих существ, их желания и нежелания и так далее.

ДР: Постчеловеческих существ? Это интересно.

НБ: Ну, я полагаю, что к тому времени, когда у них появятся такие возможности, они многократно усовершенствуют себя.

ДР: И тем самым, возможно, достигнут уровня понимания возможных последствий создания симуляции.

НБ: Да, они почти наверняка будут усовершенствовать свои когнитивные способности.

ДР: Но если есть возможность закачать сознание в компьютер, то это практически гарантирует какую-то симуляцию, разве нет? То есть вот мы закачали сознание в компьютер, и что помешает ему существовать там? Пока есть источник питания, чипы работают, ток течёт, данные передаются — по сути, оно существует в симуляции.

НБ: Ну, если есть техническая возможность это сделать, не говоря о мотиве…

ДР: …то придётся симулировать какой-то биологический интерфейс, иначе оно не поймёт, что делать.

НБ: Ну, у нас уже сейчас есть виртуальная реальность — несовершенная, но она постоянно улучшается, так что можно без труда представить себе, как она становится всё лучше и лучше и в итоге становится идеальной. Но представим себе, что при этом наш мозг не лежит в коробке в наушниках и очках, а сам является частью симуляции.

ДР: «Матрица»!

НБ: Ну, в «Матрице» есть биологические люди, которые подключаются снаружи. Но если можно симулировать чашки и машины, то точно так же можно включить в симуляцию и мозги. Есть одно соображение, которое находится вне доказательства симуляции и может обсуждаться отдельно (я называю его тезисом «независимости от субстрата»): в принципе сознательные переживания возможно вызвать на разных субстратах. То есть это не обязательно должны быть атомы углерода, как в человеческом мозге; это могут быть, например, атомы кремния. То есть сознательные переживания обусловлены каким-то структурным свойством выполняемого вычисления, а не материалом, на котором оно базируется. В таком случае возможна симуляция, в точности симулирующая мозги вплоть до каждого нейрона и синапса, и эти мозги будут обладать сознанием.

ДР: И это второй вариант?

НБ: Нет, второй вариант — это то, что постлюди не заинтересованы в такой симуляции. Не отдельные постлюди, а вообще все цивилизации, достигшие технологической зрелости, по той или иной причине отказываются от создания симуляций.

ДР: А какой третий вариант?

НБ: Третий вариант — мы находимся в симуляции. Это и есть гипотеза симуляции.

ДР: А к какому ты склоняешься?

НБ: Ну, я воздерживаюсь от указания конкретных вероятностей — а это, как ты понимаешь, чисто вероятностный вопрос. Я не хочу называть никаких цифр, потому что, во-первых, они будут подхвачены и создадут ощущение ложной точности. Из доказательства невозможно вывести точную вероятность; можно только утверждать, что один из трёх вариантов должен быть верным.

Конечно, это уже сужает пространство для рассуждений. Кто-то скажет: откуда ты знаешь? Будущее огромно и непредсказуемо, можно придумать всё что угодно, доказательств всё равно нет. Но на самом деле, когда начинаешь в этом разбираться, оказывается, что логически вероятных сценариев не так уж и много. Трудно подобрать хотя бы одну общую гипотезу, которая бы соответствовала этому и другим соображениям, которые представляются нам истиной.

ДР: Но идея в том, что однажды мы сможем создавать симуляцию, неотличимую от реальности, так? Допустим, что сейчас мы не в симуляции, что это ещё биологическая жизнь и нам просто очень повезло жить в этот эпохальный период. Но мы ведь уже разрабатываем виртуальную реальность — тот же Oculus и прочие коммерческие технологии, они становятся лучше с каждым днём. Двадцать лет назад ничего подобного не было. Возможно, через 20 лет мы сможем создать виртуальную реальность, которая практически неотличима от реальности как мы её знаем?

НБ: Или через 20 тысяч лет. Доказательство не устанавливает никаких временных рамок.

ДР: Но если всё будет и дальше улучшаться, вычислительная мощность будет расти, разовьётся способность передавать биологические ощущения, в том числе осязание, запахи и так далее, то когда-нибудь будет создана виртуальная реальность, неотличимая от реальности как таковой. И как мы поймём, что мы в ней оказались?

НБ: Ты уловил общую суть. Но я должен ещё раз подчеркнуть: мозг тоже будет симулированный. Это гораздо дешевле, чем иметь биологический компонент в окружении оборудования для виртуальной реальности. За ту же стоимость можно запустить гораздо больше симуляций предков с симулированными мозгами. Так что в большинстве рассматриваемых сценариев всё будет цифровым, просто потому что для зрелой технологии это намного дешевле.

ДР: Тут можно реально мозг сломать! Если задуматься о том, что вся наша реальность — это симуляция, то сразу возникает столько вопросов: что это значит, и почему это так, и что будет дальше, и что мне делать? Как дальше жить, зная, что это всё симуляция? В чём смысл существования?

НБ: Да, это большие вопросы.

ДР: Огромнейшие!

НБ: Некоторые из них возникают, даже если мы не в симуляции.

ДР: А кто-нибудь пытался произвести какие-то сложные, непонятные вычисления, чтобы определить вероятность того, что мы сейчас находимся в симуляции?

НБ: Это вопрос довольно бессмысленный. И вот почему: есть попытки определить вычислительные потребности, необходимые для симуляции какой-то физической системы с идеальной точностью. Допустим, у нас есть человеческий мозг в комнате, и мы хотим симулировать каждую его деталь — каждый атом, каждую элементарную частицу, каждую квантовую волновую функцию — какую вычислительную нагрузку это создаст и сможем ли мы построить компьютер, достаточно мощный для этой цели?

Так вот, это вопрос бессмысленный, потому что нет никакой нужды симулировать все подробности среды, которую мы хотим создать в этой симуляции предков. Достаточно симулировать лишь ту часть, которая воспринимается наблюдателем внутри симуляции. К примеру, если какая-то постчеловеческая цивилизация захочет симулировать подкаст Джо Рогана, ей надо будет симулировать мозг Джо Рогана, потому что в нём происходит само переживание, а затем только те части среды, которые ты воспринимаешь — скажем, поверхности стола и стен. Возможно, им придётся заодно симулировать меня или хотя бы достаточно хороший симулякр, который может выдавать слова, достаточно похожие на человеческую речь, но в этом уже сейчас добились больших успехов — я имею в виду GPT2, это такой ИИ, который просто выдаёт речь. Важно другое: что происходит внутри этого стола? Это не имеет значения, ты даже не знаешь, есть ли в нём атомы. Конечно, можно взять электронный микроскоп и изучить его строение, а потом взять атомно-силовой микроскоп и увидеть отдельные атомы, можно провести самые разные замеры, но в любом случае ты не увидишь ничего необычного, потому что физики ставят подобные опыты постоянно и ничего необычного не видят. Дело в том, что гораздо дешевле по мере необходимости заполнять эти детали, когда кто-то внутри симуляции ставит эксперимент, чем постоянно их поддерживать.

Так устроены современные компьютерные игры: есть определённая детальность прорисовки, которая увеличивается по мере приближения персонажа к объекту. Нет никакой нужды постоянно симулировать весь виртуальный мир, если персонаж его не видит. Надо думать, сверхумные постлюди научатся оптимизировать свои симуляции, поэтому никакие наши расчёты и эксперименты никак не опровергнут и не докажут саму гипотезу.

ДР: Без того, чтобы оценивать вероятность одного из трёх сценариев, скажи, какие у тебя есть аргументы в пользу того, что мы в симуляции? Что наводит тебя на эту мысль — если наводит, конечно?

НБ: Для этого и сформулировано доказательство симуляции. В той степени, в которой альтернативы этой гипотезе представляются мне невероятными, вероятностная мера смещается к третьему оставшемуся варианту.

ДР: А варианта всего три? То есть первый: люди вымрут…

НБ: Не только люди, любая цивилизация аналогичного уровня развития во вселенной.

ДР: То есть либо вымрут, либо откажутся от идеи симуляции, либо мы все в симуляции. Других вариантов нет?

НБ: Только эти три варианта реальны. Давай развернём аргументацию немного подробнее. Итак, допустим, первые два варианта ложны: какая-то ненулевая доля цивилизаций переживает порог зрелости и какая-то ненулевая доля этих цивилизаций сохраняет интерес к симуляции. В таком случае можно убедительно показать, что, используя всего лишь незначительную долю своих ресурсов, они смогут создать огромное множество симуляций. Это доказывается сравнением вычислительной мощности систем, которые являются физически возможными (мы пока не можем построить их, но это возможно при наличии технологий и ресурсов планетарных масштабов), с расчётной вычислительной мощностью, необходимой для симуляции человеческого мозга. Такое сравнение показывает, что у зрелой цивилизации будет на много порядков больше мощностей. Даже если они будут использовать всего 1% вычислительных мощностей одной планеты в течение одной минуты, этого будет достаточно для запуска тысяч и тысяч симуляций. А у них могут быть миллиарды планет и миллиарды лет — это умопомрачительные цифры.

В таком случае из допущения, что первые два варианта ложны, следует, что должно существовать намного больше симулированных, чем оригинальных переживаний нашего типа.

ДР: То есть идея в том, что если человечество продолжит внедрять инновации, создание симуляции станет почти неизбежным?

НБ: Нет, есть второй вариант.

ДР: Что мы решим этого не делать?

НБ: Мы и все прочие на том же уровне развития.

ДР: А что, если мы не решим? То есть если человечество, во-первых, придумает способ не погибнуть и продолжит инновации, избежав катаклизмов и катастроф, а во-вторых, не станет отказываться от развития всевозможных технических инноваций, включая симуляции, то это становится неизбежным? Стоит пройти первые два варианта, и это неизбежно, так?

НБ: Если у них будет техническая возможность плюс желание это сделать, то да. Только их будет огромное количество — не одна симуляция, а множество, потому что при технологической зрелости это будет очень дёшево. Если у вас есть космическая империя ресурсов, то это даже не будет рассматриваться как какое-то серьёзное решение.

ДР: Именно этот вопрос Илон намеревается задать искусственному интеллекту: что за пределами симуляции? Вот в чём вопрос! Если это симуляция, если одновременно идёт множество симуляций, то главный вопрос — а что за их пределами?

НБ: Это, конечно, любопытный вопрос, но я считаю, важнее спросить себя: а как нам разумнее всего поступить в такой ситуации? Как нам принести максимум пользы, прожить лучшую жизнь и так далее?

ДР: А какой вообще во всём смысл, если для нас это непостижимо?

НБ: Ты имеешь в виду вопрос, что находится за пределами симуляции?

ДР: Да.

НБ: Я не считаю, что это не имеет смысла. Пусть это и непостижимо, но мы можем сформировать какое-то абстрактное представление о том, что там находится. Чтобы поверить в гипотезу симуляции, надо принять доказательство симуляции, а оно даёт нам структуру, которая позволяет ответить на какие-то вопросы.

Итак, есть некая продвинутая цивилизация, которая разработала множество разных технологий, в том числе компьютерных, позволяющих создавать виртуальную реальность. Разумеется, они технологически преуспели и в других сферах, вроде транспортной и так далее. Скорее всего, у них есть сверхинтеллект и способность колонизировать вселенную. И вот по той или иной причине они решили истратить часть ресурсов на запуск симуляций, и все наши переживания находятся внутри одной из этих симуляций.

Понятно, что можно додумать ещё множество подробностей, но в целом я полагаю, что наша способность осознать это явление будет ограничена, да и другие соображения будут играть роль. Скажем, само доказательство симуляции появилось совсем недавно, меньше 20 лет назад. Для удобства допустим, что оно верно. Получается, что до того момента все мы, в том числе самые выдающиеся умы человечества на протяжении сотен лет, упускали из виду нечто фундаментально важное. Какова вероятность, что теперь мы наконец-то поняли всю суть? Скорее всего, в будущем нас ждёт ещё какое-то открытие, невообразимое сегодня, которое не обязательно фальсифицирует гипотезу симуляции, но, скажем, изменит её интерпретацию. Это невозможно знать заранее.

ДР: Если допустить, что всё симуляция, то все исторические сведения тоже симулированы? Когда она началась?

НБ: Тут есть разные варианты. Может быть много разных симуляций с разными конфигурациями: одни работают очень долго, другие — краткосрочные; одни симулируют всё и вся, а другие построены ради конкретной среды или конкретного человека. Количество вариаций бесконечно, но мы не можем ничего о них сказать, не зная причин для создания этих симуляций. Какой интерес движет этими гипотетическими постлюдьми?

ДР: Тебе когда-нибудь доводилось беседовать с прагматичным, разумным человеком, который тебя понимает, но не допускает даже возможности симуляции?

НБ: Должно быть, такое случалось, но обычно разговор идёт не об этом…

ДР: А о чём?

НБ: Понимаешь, я вращаюсь в нерепрезентативных кругах, так сказать. Среди тех, с кем я много общаюсь, самое распространённое мнение таково: это возможно, хотя, конечно же, мы ни в чём не можем быть уверены и это сложно предсказать, однако следует рассматривать это как некую вероятность. Но я сомневаюсь, что такая реакция будет типичной, если провести соцопрос.

Кроме того, есть много неправильных толкований. Например, представление о том, что гипотеза симуляции может быть верна только при условии, что можно симулировать весь окружающий нас мир вплоть до микроскопических деталей, о чём мы уже говорили. Кроме того, некоторым людям трудно осознать, что сам мозг будет симуляцией: они представляют себе, что к мозгу физически будет подключён какой-то кабель и можно будет протянуть руку и выдернуть его. Это тоже распространённое заблуждение.

Нередко также путают гипотезу и доказательство симуляции. Гипотеза симуляции гласит, что мы находимся в симуляции. Доказательство симуляции гласит, что верен один из трёх вариантов, и один из них — это и есть гипотеза симуляции.

ДР: А как гипотеза симуляции объясняет сны?

НБ: Не вижу, какое это имеет отношение к вопросу. Независимо от того, в симуляции мы или нет, нам могут сниться сны, которые объясняются какими-то другими причинами.

ДР: То есть даже в симуляции мы можем видеть сны?

НБ: Ну да, а почему нет? Иногда мне приходят мейлы от каких-то случайных людей: «Спасибо вам, мистер Бостром! Ваша теория очень интересная! Я нашёл ей доказательство: сегодня я смотрел в зеркало и заметил там пиксели». Такого плана.

ДР: Это же сумасшедшие пишут.

НБ: Ну, разной степени. Быть может, мы все сумасшедшие.

ДР: Разумеется!

НБ: Но подобные вещи не могут считаться доказательствами. Если мы не в симуляции, то всё равно будут люди, которые утверждают, будто они что-то видят, будут галлюцинации, ложные воспоминания, самовнушение и тому подобное. Всё это гораздо более вероятные объяснения, чем сбой в симуляции. Даже внутри симуляции все эти нормальные психологические явления будут происходить. Иными словами, если кто-то что-то такое видит, скорее всего, дело вовсе не в симуляции, даже если гипотеза симуляции верна.

ДР: А как объяснить творчество в рамках симуляции? Если тебе в голову приходят уникальные творческие мысли, твои ли они? Или же их стимулирует симуляция?

НБ: Они твои в том смысле, что их производит твой мозг. А твой мозг был произведён чем-то ещё.

ДР: Но ведь очевидно, что твой мозг подвергается огромному воздействию, если участвует в какой-то симуляции.

НБ: Но это и в физической реальности так. Ничто не рождается из пустоты.

ДР: Но это всё равно твой мозг.

НБ: Думаю, что тут не имеет значения, в симуляции ты или нет. Ну, разве что симуляторам зачем-то понадобилось предопределить, что в твоём мозгу зародится та или иная идея, и они настроили исходные условия соответствующим образом. В таком случае, пожалуй, можно будет сказать, что это не твоё достижение, а людей, которые настраивали исходные условия. Но во всех остальных случаях разницы нет.

ДР: Я почему спрашиваю: всё, что нас окружает в этом мире, родилось из чьих-то идей. Все инновации — результат какого-то изначального творческого импульса. От телевидения до автомобиля, кто-то должен был это придумать, а потом разработать и внедрить. Но если мы в симуляции, то насколько все эти идеи внушаются извне? Возможно, нас специально подталкивают в определённом направлении?

НБ: Ну, можно представить себе оба вида симуляций. Первый вид — когда ты только задаёшь исходные условия, запускаешь симуляцию и смотришь, что будет. Второй вид — когда тебе интересно просимулировать конкретную историческую ситуацию: скажем, что было бы, если бы Наполеон проиграл. Можно представить, что наша симуляция относится к первому типу, или ко второму, или к обоим сразу.

ДР: Но если твоя гипотеза симуляции верна и симуляция работает, то что получается: мы независимо взаимодействуем с симуляцией? Или симуляция внушает нам какие-то идеи, которые мы потом воплощаем в рамках этой симуляции? Допустим, мы сейчас в симуляции, и кто-нибудь создал новый айфон. Зачем он это сделал? Потому что в симуляции есть другие люди? Или же симуляция для каждого человека уникальна, и все эти симуляции сосуществуют одновременно?

НБ: Для симуляции логичнее всего было бы симулировать каждый мозг, потому что симуляция мозга на достаточно детальном уровне обеспечит наиболее реалистичное поведение.

ДР: То есть все, с кем ты взаимодействуешь, — это тоже симуляция?

НБ: Да, это вполне возможный вариант симуляции. Остаётся открытым вопрос, можно ли создать такую симуляцию, где только один человек будет обладать полнотой сознания, а все прочие будут просто симулякрами, которые ведут себя как люди, но внутри пусты. То есть это будут зомби — в данном случае это философский термин, обозначающий существо, которое ведёт себя как человек, но лишено сознательных переживаний. Насколько это возможно — вопрос открытый.

ДР: А ты когда-нибудь задумываешься об этом, общаясь с людьми?

НБ: Да нет, в общем-то. То есть мне это, конечно, приходило в голову, но обычно я об этом не думаю.

ДР: А у тебя никогда не бывает, что вдруг ты думаешь: «Это может быть ненастоящим. Этот человек может быть ненастоящим. Может быть, это симуляция»?

НБ: Ну, скорее всего, должно быть какое-то вероятностное распределение по таким ситуациям. То есть эти ситуации симулируются с разной частотой, так что это была бы моя первая мысль. В реальности никогда нельзя быть уверенным. Во-вторых, если допустить, что мы находимся в такой симуляции, то с поведенческой точки зрения наши поступки вряд ли будут как-то отличаться, так что это не очень скажется на повседневной жизни.

ДР: Как ты считаешь, есть ли какой-то психологический смысл в том, чтобы взаимодействовать с миром так, будто это симуляция?

НБ: Не вижу в этом никакого смысла.

ДР: Унять экзистенциальные страхи?

НБ: Ну да, но можно истолковать это и так, что почувствуешь ещё большее отчуждение. Не знаю. Но в первом приближении я считаю, что наиболее разумные варианты поведения в физической реальности точно так же применимы в реальности симулированной.

ДР: Вот тут-то и начинается самое интересное. Получается, что в каждом конкретном случае ты обязан поступать так, как будто это не симуляция, даже если это симуляция! Если бы можно было сдать такой тест, типа теста на беременность: идёшь в аптеку, мочишься на полоску, и там сказано: «прикинь, Ник, вся эта херотень — чистой воды симуляция». Со стопроцентной гарантией. То есть ты точно знаешь, что всё вокруг ненастоящее , хотя для тебя оно настоящее, потому что твои переживания точно такие же, как если бы оно было настоящим. Как бы ты с этим жил?

НБ: Наверное, это привело бы к едва заметной перестановке приоритетов.

ДР: Что бы ты сделал? Лично ты?

НБ: Полного ответа у меня нет. Скажем так: есть некоторые возможности, которые кажутся неправдоподобными, если мы не в симуляции, но становятся более реалистичными в симуляции. Например, компьютер, на котором идёт симуляция, можно выключить, выдернуть из сети, так? В нашем понимании физическая вселенная не может просто взять и исчезнуть — это противоречит закону сохранения энергии, импульса и так далее. Но в симулированной вселенной это возможно. Не обязательно вероятно, не обязательно случится в обозримом будущем, но по крайней мере возникает такая возможность. Кроме того, возникают и другие возможности, чем-то пересекающиеся с теологическими изысканиями — загробная жизнь и тому подобные вещи. Интересно, что совсем разными путями можно прийти к одной точке. То есть это не обязательно то же самое, что и в теологии, но есть некоторые структурные параллели, некоторые аналогии между положением симулированного существа относительно симуляторов и сотворённого существа относительно творца. Это интересные сравнения, которые указывают на возможные варианты поведения.

ДР: Меня это вводит в аналитический ступор. Я бы просто сидел и думал об этом, я не мог бы ничего делать — ни двигаться, ни действовать, ни рассуждать…

НБ: Что ж, это представляется неоптимальным вариантом.

ДР: Да уж, неоптимальным! Но эта идея настолько распространена, настолько популярна…

НБ: Да, очень интересно, как она разошлась за последние 10–15 лет. Когда я начинал над этим работать, это была очень радикальная идея, а мои выкладки воспринимались как нечто очень абстрактное. Любопытно, как изначально маргинальные идеи могут за какие-то десять лет становиться почти что общепринятыми.

ДР: Как ты думаешь, почему так происходит?

НБ: У нас есть уникальная способность привыкать к чему угодно — мы уже говорили об этом в контексте технического прогресса. Современные технологии кажутся нам нормой, потому что мы легко приспосабливаемся. При этом у нас нет внешней точки сравнения, поэтому большинство наших суждений основаны на чужих мнениях. Если какой-то видный авторитет типа Илона Маска относится к доказательству симуляции всерьёз, то люди начинают думать: «наверное, в этом что-то есть». Достаточно двух–трёх уважаемых людей, чтобы нормализовать какую-то идею.

ДР: А есть кто-то из уважаемых людей, кто открыто отвергает эту возможность?

НБ: Должны быть, но вряд ли они будут об этом всем сообщать. Тот, кто не воспринимает это всерьёз, не станет даже говорить об этом… Нет, не могу вспомнить никого конкретного.

ДР: Я бы хотел послушать контраргументы. И с удовольствием послушал бы спор между кем-то из них и тобой или Илоном.

НБ: Это было бы интересно.

ДР: Да. Неужели ты никогда не дискутировал с оппонентами этой идеи?

НБ: Публично? Не знаю…

ДР: Да хоть бы и непублично.

НБ: Не знаю… Слишком уж много времени прошло с тех пор, как я впервые опубликовал ту статью. У меня было больше споров о самом доказательстве…

ДР: А какой была реакция, когда ты её только опубликовал?

НБ: Статья сразу же привлекла очень много внимания, хотя и была напечатана в академическом журнале The Philosophical Quarterly. С тех пор внимание накатывает волнами: каждый год новое поколение или какое-то новое сообщество впервые слышит об этом, и идёт новая волна интереса. Но параллельно этим волнам есть постоянная тенденция к постепенному вхождению этой идеи в обиход. То есть чем дальше, тем менее неправдоподобной она кажется. Отчасти потому, что идея продержалась столько времени, то есть многие думают: будь она в корне ошибочной, её бы уже опровергли. В чём-то принятию идеи способствует научно-технический прогресс: когда видишь развитие виртуальной реальности, гораздо проще представить себе, что однажды она станет достаточно продвинутой, чтобы создать безупречную симуляцию.

ДР: Я хотел это предложить в качестве четвёртого варианта: однажды мы сможем создать поразительную симуляцию, но пока этого не сделано. Не означает ли это, что нужно говорить об этом уже сегодня? Ведь если экстраполировать нынешнее техническое развитие, то это когда-нибудь это должно случиться. Не пора ли начать беспокоиться?

НБ: Я бы сказал, что это крайне маловероятно. Если первые два варианта ложны, то симулированных реальностей намного больше, чем несимулированных. По крайней мере будет намного больше в ходе всей истории. С учётом этого мы знаем, что к концу времени случится, допустим, миллион симуляций и одна оригинальная реальность. При этом у всех симулированных людей и у всех реальных людей субъективно неразличимые переживания — то есть изнутри разница не видна. При таком допущении какой вариант представляется более логичным: то, что мы относимся к исключению, или то, что мы относимся к большему набору?

ДР: Или то, что этого ещё не случилось?

НБ: Это равнозначно утверждению, что мы относимся к одной из несимулированных реальностей.

ДР: Во всей вселенной?

НБ: Да, хотя можно рассмотреть и частный случай — только Землю.

ДР: Давай рассматривать только частный случай Земли. Если все исторические сведения верны и не симулированы, то вполне логично предположить, что мы имеем дело с постепенным развитием технологий. И хотя прогресс потрясает и поражает, до симуляции мы пока ещё не добрались.

НБ: Ну да, так нам кажется. Но точно так же нам казалось бы, если бы мы были в симуляции.

ДР: Да, но точно так же нам казалось бы и если бы мы ещё не были в симуляции! Есть же такая возможность?

НБ: Большинство людей, которым так кажется, будут всё-таки в симуляции.

ДР: Но почему?!

НБ: По определению — если создано так много симуляций…

ДР: Но они пока не созданы!

НБ: Да, но находясь в симуляции, ты же не можешь знать, какое сейчас время во внешней реальности.

ДР: Да, но зачем допускать что-то столь фантастическое, когда сама жизнь на Земле — это невероятно? Сам факт, что мы — живые люди на планете, которая вращается с огромной скоростью в бесконечности, кажется невероятным. Если бы этого не было, это показалось бы абсурдной выдумкой, но это же есть! И мы знаем или по крайней мере соглашаемся, что было раньше, какая история предшествовала сегодняшнему дню: мы же согласны, что был Оппенгеймер, Манхэттенский проект, Первая мировая, Вторая мировая, война в Корее, война во Вьетнаме, Рейган, Кеннеди — мы не спорим, что это всё было, так? Мы согласны, что был конкретный исторический процесс. Я лично помню, когда появился первый айфон, первый компьютер, когда появился интернет. Зачем предполагать возможность симуляции? Почему бы не предположить, что симуляция ещё не случилась?

НБ: Конечно, можно предположить, что мы будем в первых временных отрезках всех симуляций.

ДР: Разве это не более вероятно?

НБ: Я бы сказал, что нет. Чтобы это пояснить, надо обратиться к антропному принципу. Он говорит об определении вероятности в ситуациях неопределённости, когда мы точно не знаем, кто мы, где мы и в каком времени. Итак, для примера представим себе, что в нашем сценарии все люди должны заключить пари и сделать ставки на то, симулированы они или нет. В таком случае у тебя есть два рациональных подхода. Первый — предположить, что ты — случайным образом выбранный индивид. В таком случае ты делаешь ставку на симуляцию, потому что симуляций гораздо больше, а значит, случайный выбор с большей вероятностью падёт на симулированного индивида. Это как в лотерее: билетов очень много, поэтому вероятность получить выигрышный гораздо ниже вероятности получить пустой.

ДР: Но откуда взялось предположение, что симуляций больше? Вот этого я не понимаю.

НБ: К концу времени количество симуляций будет больше.

ДР: К концу времени — ладно, но сейчас-то почему? Если их ещё не было?

Скажу сразу: у меня нет конкретного мнения по этому поводу. Я не за и не против, мне просто интересна аргументация. Допустим, я бы отстаивал прагматическую реальность биологического существования человека. Мы рождаемся и умираем, мы представляем собой частичку человечества, которое создало кучу невероятных вещей, построило всю нынешнюю цивилизацию от древних времён и до текущего момента, где мы с тобой говорим в эти микрофоны и всё это транслируется на весь мир. Почему же не вероятно допустить, что симуляция ещё не случилась? Что мы продолжаем создавать инновации и однажды, возможно, окажемся в симуляции, но пока что не оказались? Почему ты не учитываешь такую возможность, такую вероятность?

НБ: Я учитываю, но если следовать этому общему принципу, по которому все люди будут предполагать, что они находятся в оригинальной реальности до наступления симуляции, то почти все они окажутся неправы и проиграют пари.

ДР: Как только начнётся симуляция?

НБ: Да, если учесть всё время и всю вселенную.

ДР: Но нет никаких доказательств, что происходит симуляция. А вот доказательства жизни есть: у тебя есть отец и мать, ты рождаешься…

НБ: Все эти вещи вполне возможны в симуляции.

ДР: Возможны, но разве это не самообман? Мы же не знаем!

НБ: Зависит от симуляции. Многие симуляции могут быть очень долговременными.

ДР: Но мы точно знаем: если тебя застрелить, ты умрёшь. Если есть еду, то потолстеешь. Мы это знаем. Это объективные факты.

НБ: И я с ними согласен.

ДР: Тогда почему мы должны считать симуляцию наиболее вероятным сценарием? Если мы пережили — по крайней мере нам кажется, что мы пережили — столько инноваций за свою жизнь, мы видим, что всё движется в определённом направлении, то почему бы нам не предположить, что симуляция ещё не случилась?

НБ: Я считаю, что если взять за предпосылку, что существует некий исходный сегмент несимулированных переживаний Джо Рогана, на основании которого существует множество симулированных сегментов, и все вместе они составляют собой весь мир, то вероятнее всего, ты находишься в симулированном сегменте.

ДР: Почему?!

НР: Чтобы об этом спорить, надо учитывать часть теории вероятности, которая называется антропным принципом. Я о нём уже упоминал. Надо удалить какой-то один элемент, чтобы создать некоторое исходное правдоподобие. Теперь смотри: если мы хотим сформулировать самую рациональную стратегию размещения ставок для всех людей, населяющих переживания Джо Рогана, то есть стратегию, которая обеспечит максимальную вероятность выигрыша, мы посоветуем им всем ставить на то, что они в симулированном сегменте. А если ввести общее правило, согласно которому ты должен всегда считать, что находишься в исходном несимулированном сегменте, то преобладающее количество людей в симуляциях проиграют.

ДР: Но нет никаких доказательств симуляции.

НБ: Я бы сказал, что есть косвенные доказательства, поскольку есть доказательства против двух альтернативных вариантов.

ДР: Два альтернативных варианта — это что люди вымрут раньше, чем дорастут до создания симуляций, либо что они решат не создавать симуляций, так?

НБ: Да.

ДР: Хорошо, но если они таки решат создать симуляцию, то должно быть время до того, как это произойдёт, так? Почему бы не предположить, что мы находимся именно в этом времени, если все исторические свидетельства инноваций подводят нас к этой мысли?

НБ: Я считаю, что исторические свидетельства были бы такими же и в симуляции.

ДР: Но почему обязательно в симуляции, а не в реальности?

НБ: Ну, они могут быть в симуляции, если она симулирует историю…

ДР: Но они могут быть и в реальности!

НБ: …а если это фантастическая симуляция, то их может и не быть.

ДР: Да, но может же быть, что это просто реальность? Это же не обязательно должна быть симуляция?

НБ: Ну, иногда это будет и то, и другое. То есть будет один Джо Роган в оригинальной реальности а потом, скажем, миллион — в симулированных. Но если подумать о твоих действиях, которые не позволяют тебе отличить все возможные местонахождения в пространстве-времени друг от друга, то наибольшее влияние принятых тобой решений будет наблюдаться в каждой из миллиона одновременно существующих симуляций.

ДР: Да, но это всё будет, когда существование симуляции будет доказано, а оно пока не было. Мы живём биологической жизнью, это доказано и мы с этим все согласны: мы размножаемся, спим, едим, летаем на самолётах…

НБ: Да, всё это так. Но всё это будет точно так же и в симуляции.

ДР: Но откуда вообще берётся мысль, что мы в симуляции? Вот чего я не могу понять! То, что симуляция возможна в будущем, я понимаю. Но я не вижу никаких убедительных доказательств считать, что мы находимся в ней сейчас!

НБ: Ну, это вопрос вероятности. Игра с числами, всего-навсего.

ДР: Разве? Ну вот у нас есть текущая реальность. Какие есть основания считать более вероятным то, что мы находимся в симуляции? Вот чего я не пойму.

НБ: Ясно. Какое мы можем представить себе окончательное доказательство? Ну, разве что всплывающее окошко с надписью: «Вы находитесь в симуляции! Нажмите здесь, чтобы получить больше сведений».

А так нам остаются лишь более слабые вероятностные доказательства, основанные на свидетельствах против двух альтернативных вариантов. Например, если бы у нас появились какие-то доказательства меньшей вероятности того, что все цивилизации погибают, не достигнув зрелости. Скажем, мы все собрались разом, избавились от ядерных арсеналов, стали вести себя разумно, убедились, что на нас не надвигается астероид и так далее — это понизило бы вероятность первого варианта, повысив вероятность двух оставшихся.

Теперь допустим, что мы приблизились к постчеловеческому этапу: разработали мощнейшие компьютеры, виртуальную реальность и так далее, но не утратили интерес к симуляциям. Допустим, мы готовы тратить ресурсы на симуляции, как только у нас появится техническая возможность. Это понизит вероятность второго варианта: вряд ли можно ожидать сильную конвергенцию всех технологически зрелых постчеловеческих цивилизаций, если мы сами уже почти постлюди, но так и не потеряли интереса к созданию симуляций предков. Таким образом, вероятность смещается на третий оставшийся вариант.

Возьмём крайний случай: представим, что через тысячу лет мы построили компьютер планетарных масштабов, который может проводить такие симуляции. И вот мы собираемся включить его, чтобы он создал точную симуляцию нас самих. По мере того, как мы тянемся к большой красной кнопке, вероятность первых двух вариантов опускается до нуля. В таком случае мы вынуждены будем с почти полной уверенностью заключить, что мы сами находимся в симуляции, нажимая на кнопку и создавая миллион таких же симуляций.

ДР: Да, когда мы дойдём до этой стадии, но мы же до неё ещё не дошли! Тогда почему мы должны предполагать, что мы в симуляции, а не в текущей реальности?

НБ: Мы ничего не должны предполагать. Мы должны исходить из того, что нам неизвестно, в каком из этих временных отрезков мы пребываем, в каком из множества подкастов Джо Рогана мы оказались. Изнутри это определить невозможно.

Если бы мы могли посмотреть на какой-то объективный циферблат и сказать: «ага, ещё слишком рано, никаких симуляций пока не было», то, разумеется, можно было бы заключить, что мы находимся в оригинальной реальности. Но никакого циферблата за окном мы увидеть не можем, потому что в симуляции нет окна во внешнюю реальность. Поэтому изнутри мы никак не можем определить, в каком из разных сегментов мы находимся. Никаких отличий нет.

ДР: Но может же быть, что мы в таком сегменте, где нет симуляции и она станет возможной в будущем?

НБ: Ну да, с вероятностью один к миллиону.

ДР: Серьёзно?! То есть вероятность того, что вокруг нас — реальная жизнь, всего один на миллион?

НБ: Да, при условии, что оба альтернативных варианта неверны.

ДР: Хорошо, пусть они будут неверны. Допустим, что человечество не уничтожило само себя, но нет никакой нужды принимать решение об отказе от симуляций, потому что симуляцию ещё не изобрели. Разве такой вариант невозможен? Разве не может быть, что та история технических инноваций, которую мы все признаём, — реальна, что мы живём реальной человеческой жизнью, а не в симуляции? Да, однажды симуляция станет возможной, но ведь ещё не стала?

НБ: Вопрос в том, насколько это вероятно.

ДР: Но разве это не супервероятно? Ведь мы это ощущаем!

НБ: Такая ситуация была бы очень необычной для человека с твоим опытом.

ДР: А с твоим?

НБ: И с моим, и с его, и с любым человеческим опытом — такая ситуация была бы в высшей степени необычной.

ДР: Но в мире есть семь миллиардов людей! И у каждого свой опыт!

НБ: Да, а если допустить, что существует ещё миллион симуляций, то людей в миллион раз больше.

ДР: Но почему должно быть сколько-нибудь симуляций? Почему не могут быть просто 7 миллиардов людей, живущих жизнью?

НБ: В таком случае что-то должно помешать созданию симуляций.

ДР: Вот этого я не понимаю. Почему?!

НБ: Возможно, разница в том, что я привык думать о мире как о четырёхмерной структуре, в которой одно из измерений — время. Итак, если в совокупности экзистенции — всего существования до конца времени — посмотреть на разные переживания, которые соответствуют твоим нынешним переживаниям, то с учётом всех предпосылок подавляющее большинство из них будут симулированными.

ДР: Почему?

НБ: Под предпосылками я имею в виду, что первый и второй варианты ложны.

ДР: А как же мой вариант?

НБ: В твоём варианте подавляющее большинство всех переживаний, когда-либо существовавших во времени, тоже будет симулировано. Если я правильно понял твой вариант.

ДР: Нет-нет, мой вариант — это что ничего ещё не случилось.

НБ: Да, но случится.

ДР: Может быть, но ещё нет!

НБ: Но если мы возьмём вселенную в конце времени и посмотрим назад, то увидим множество симулированных версий тебя и одну оригинальную. И ты думаешь, что ты — оригинальная версия.

ДР: Нет, я это даже не рассматриваю. Я говорю, что, может быть, мы просто есть. Что нет никакой симуляции. И что, может быть, однажды она случится, а может быть — и не случится.

НБ: Тогда тебе надо выбрать, какой из этих сценариев ты рассматриваешь.

ДР: Это и есть сценарий, который я рассматриваю! Что мы есть, что мы по-настоящему живём…

НБ: Да, но что будет дальше? Сценарий должен указывать, что было в прошлом, что происходит сейчас и что будет в будущем.

ДР: Мы не знаем, что будет в будущем!

НБ: Верно. Поэтому мы можем рассматривать оба варианта, так?

ДР: Да.

НБ: Один вариант — что в дальнейшем не будет создано никаких симуляций. А это опять-таки возвращает нас к одной из двух альтернатив.

ДР: Но другой вариант — что симуляция может случиться в дальнейшем, но ещё не случилась.

НБ: Да, второй вариант — что в дальнейшем будут созданы симуляции.

ДР: Что это возможно, но пока не случилось.

НБ: Да, но случится в дальнейшем. На это я скажу: в таком мире большинство твоих переживаний будут происходить в симуляции.

ДР: Всё равно не понимаю. Почему не может быть, что этого ещё не случилось?

НБ: Может, конечно. Всё зависит от того, какое из этих переживаний является для тебя настоящим моментом в этом сценарии. Есть миллион переживаний плюс одно исходное, изнутри они неразличимы…

ДР: Возможно, однажды будет миллион переживаний, но прямо сейчас нет никаких доказательств этому. Нет никаких доказательств, что это вообще будет технически возможно. Мы думаем, что это возможно, но пока что этого не случилось. Так почему ты думаешь, что мы сейчас находимся в симуляции, если нет ни малейших доказательств, что симуляция вообще возможна?

НБ: Может быть, мне надо объяснить это как-то проще…

ДР: Да нет, я понимаю, о чём ты…

НБ: Давай попробуем простой мысленный эксперимент, никак не связанный с симуляциями. Я придумываю его на ходу, так что будем надеяться, что что-то получится.

Итак, тебя спящего помещают в комнату. Потом ты просыпаешься, и экспериментатор подбрасывает монетку. Если выпадает орёл, то ты покидаешь комнату и всё идёт как обычно. Но если выпадает решка, то тебе дают препарат, стирающий память. Когда ты просыпаешься снова, ты думаешь, что это первый раз, потому что не помнишь этой комнаты. Так повторяется десять раз.

Итак, у нас есть мир, в котором имеется либо одно часовое переживание Джо Рогана в комнате, либо десять часовых переживаний Джо Рогана в комнате, разделённых амнезией. И вот ты находишься в этой комнате и думаешь: «Интересно, я тут впервые? Или мне дали препарат, стирающий память, и я тут уже не первый раз просыпаюсь?» Допустим, тебе нужно определить вероятность обоих вариантов, или сделать ставку. Давай я тебя спрошу: вот ты проснулся в комнате; как ты думаешь, какова вероятность, что ты проснулся в ней впервые, а не в какой-то из последующих раз?

ДР: Какова вероятность того, что я здесь, по сравнению с вероятностью крайне неправдоподобного сценария, где мне снова и снова стирают память?

НБ: Нет, мы договорились, что это всё тебе доподлинно известно. Некий безумный учёный тебя похитил и ставит эксперимент, в этом ты совершенно уверен. Единственное, в чём ты не уверен, — это как выпала монетка.

ДР: Ну, в таком сценарии, где я знаю, что может существовать безумный учёный и я могу просыпаться снова и снова, я могу просто сойти с ума!

НБ: Это философский мысленный эксперимент. Давай исключим такую возможность.

ДР: Да, но мой изначальный тезис в том, что у нас нет никаких доказательств, что мы в симуляции. Так почему бы не предположить, что происходит наиболее вероятный сценарий, в котором мы все просто живём и жизнь есть тем, чем кажется, со всеми её странностями?

НБ: Ладно, если ты не хочешь ставить мысленный эксперимент…

ДР: Нет, я хочу, просто он кажется мне крайне ограниченным!

НБ: Я просто пытаюсь донеси до тебя теорию вероятности в чистом виде, в отрыве от гипотезы симуляции. Спрошу по-другому: если бы мы ближе подошли к точке, в которой можем создавать симуляции — то есть выжили, заселили другие планеты, построили компьютеры планетарных масштабов и так далее — то как изменится вероятность относительно гипотезы симуляции?

ДР: Она изменится под влиянием каких-то неопровержимых доказательств, что мы способны создать симуляцию, неотличимую от реальности. Но я скорее заключу, что мы находимся в реальности. Разве это не бритва Оккама? Простейший ответ — самый правильный? Не логичнее ли предположить, что я — это я, а ты — это ты, а стол — деревянный, и никакой симуляции пока ещё не произошло?

НБ: Нет, это не бритва Оккама, потому что требует утверждения, что ты являешься крайне необычным и особенным наблюдателем относительно всех когда-либо существующих наблюдателей.

ДР: Но ведь каждый является по-своему необычным! Нет никаких клонов! Нет какой-то версии человека, проживающей ту же самую жизнь в миллионе разных сценариев.

НБ: Но в таком случае, если есть множество симуляций, то большинство людей не являются особенными. Большинство людей симулированы. И лишь крошечное меньшинство отличается.

ДР: Это если есть симуляция.

НБ: Много симуляций.

ДР: А если нет симуляций, то есть 7 миллиардов уникальных умов.

НБ: Ну да, если симуляции нет и никогда не будет, то конечно.

ДР: Кто сказал «никогда не будет»?

НБ: Поскольку мы не знаем, какое сейчас время во внешней реальности, и никак не можем по доступным нам доказательствам определить, в каком из миров мы находимся — в мире, где есть оригинальная история, а потом конец, или в мире, где есть оригинальная история, а потом множество симуляций, — мы должны оценить вероятность этих сценариев. Итак, у нас есть ситуация, аналогичная эксперименту с комнатой и потерей памяти, как бы ряд эпизодов. Вопрос в том, как оценить вероятность того или иного мироустройства в такой ситуации?

Один из вариантов аргументации — представить себе пари, где люди делают ставки. Его я уже упоминал. Второй вариант — обратиться к космологии и теории мультивселенной, которая предполагает существование множества вселенных и множества наблюдателей, и все возможные наблюдатели существуют во всех возможных конфигурациях. Тогда возникает вопрос: как на этом основании предсказать вероятность, если всё, что ты наблюдаешь, наблюдается кем-то ещё? Как проверить такую теорию?

Тот же антропный аргумент, который я использую в контексте доказательства симуляции, играет роль и в наблюдательных предсказаниях в подобных космологических теориях. То есть ты должен исходить из того, что, скорее всего, являешься типичным наблюдателем относительно всех когда-либо существующих наблюдателей. По крайней мере, я так считаю.

Здесь мне стоит сделать сноску и сказать, что сфера антропной аргументации довольно сложна и спорна. Мы далеко не всё в ней понимаем. Однако конкретное применение антропной аргументации к доказательству симуляции представляется мне одним из наименее проблематичных.

Итак, если исходить из гипотезы, что до конца времени будет существовать множество симулированных Джо Роганов и только один оригинал, то вероятность оказаться симулированным гораздо выше. Я не знаю, как объяснить это более простыми словами.

ДР: Да нет, я тебя прекрасно понимаю. Я всё понимаю, кроме того, почему ты отказываешься учитывать возможность, что этого ещё не произошло?

НБ: С моей точки зрения я вполне вполне учитываю эту возможность. Но вероятность того, что я — оригинальный Ник Бостром, не может быть выше вероятности симуляции, если этому нет дополнительных доказательств. А их быть не может.

ДР: Вот тут я не согласен. Мне кажется намного более вероятным, что вот эта окружающая реальность, которую мы сейчас ощущаем, эта углеводная жизнь — это реальность, хотя потенциально когда-нибудь может возникнуть симуляция, которая вынудит нас задуматься над вероятностью того, что она уже происходит.

НБ: Хорошо, давай так. Мы считаем, что произошёл большой взрыв, образовались планеты, миллиарды лет спустя зародилась жизнь и в конце концов эволюция привела нас в нынешнюю точку, так? Допустим, какой-то физик тебе скажет: в самом начале существования нашей огромной вселенной в очень-очень редких случаях образовывались такие газовые облака, в которых произвольно возникал мозг Джо Рогана — всего на минуту, а потом сразу распадался. Если вселенная бесконечна, это вполне может произойти где-то. Но всё равно мозгов Джо Рогана, созданных таким образом, будет гораздо меньше, чем мозгов Джо Рогана, обитающих на населённых планетах, потому что эволюция сильно повышает вероятность возникновения организованной структуры.

Итак, физик тебе говорит: вот модель нашей части пространства-времени. В ней есть очень-очень мало мозгов, спонтанно образовавшихся в газовых облаках на заре вселенной, и в ней есть нормальные Роганы. Нормальных, конечно же, намного больше. Скажем, нормальные встречаются на каждой десятой в пятидесятой степени планете, а редкие — на каждой десятой в сотой степени…

ДР: Что в твоём определении «нормальные» и «странные»?

НБ: Нормальные возникли в процессе эволюции на планетах, у них есть мать…

ДР: На разных планетах?

НБ: Да, на разных…

ДР: Но у нас есть только одна планета!

НБ: Ну, вообще-то во вселенной много планет…

ДР: Но только одна известная нам, где есть жизнь. Так что это всё чистые спекуляции.

НБ: Ну да, это мысленный эксперимент. Хотя вполне вероятно, что реальность не сильно от него отличается.

ДР: То есть скорее всего, есть другие планеты?

НБ: Тот факт, что он соответствует реальности, не имеет значения. Но допустим, мир был бы именно таким: несколько странных мозгов в газовых облаках на заре вселенной, а подавляющее большинство — нормальные люди на планете. В рамках этой модели ты бы тоже решил, что являешься одним из странных мозгов в газовых облаках, потому что все остальные ещё, возможно, не появились? Или я тебя запутал?

ДР: Запутал.

НБ: Извини. Это просто аналогично выстроенная ситуация: есть несколько исключительных ранних версий человека, которые довольно малочисленны по сравнению с более поздними версиями. И вот они рассуждают тем же образом: «возможно, другие люди появятся на планетах, а возможно — нет, но у меня нет оснований считать, что я отношусь к тем, кто появился на планетах». В такой модели вселенной ты бы склонялся к варианту, что ты — одно из редких порождений газовых облаков.

Кстати, как я уже сказал, вполне вероятно, что эта модель вселенной соответствует действительности. Наша вселенная бесконечна, и несколько Джо Роганов, скорее всего, спонтанно возникали в ходе случайных процессов на ранних этапе, но их очень мало по сравнению с населением планет. Исходя из нашего спора о доказательстве симуляции, ты должен считать, что твой мозг — это случайное порождение газового облака на заре вселеннной.

ДР: Я всё равно не понимаю, о чём ты. Я говорю вот что: если ты веришь в науку, в научные открытия… Ну вот мы все согласны: планеты и газовые облака возникли из материи, порождённой взрывами звёзд, которая потом многократно собиралась, пока не возникли углеродные формы жизни — так считает современная наука, правильно? Дальше, мы согласны, что одноклеточные организмы стали многоклеточными в процессе случайных мутаций и естественного отбора, то есть эволюции. Мы согласны, что мы пришли к точке, где произошёл описанный тобой гигантский рост технологий и инноваций. Так почему бы нам не предположить, что всё это действительно происходит прямо сейчас, без всякой симуляции?

НБ: Доказательство симуляции как раз и отвечает на этот вопрос. С тем только уточнением, что а) доказательство симуляции не утверждает, что гипотеза симуляции верна (потому что есть два альтернативных варианта); и б) даже если гипотеза симуляции верна, то во многих её версиях все эти явления будут иметь место в симуляции: симуляция может быть очень долгосрочной, она может имитировать реальность; возможно, все эти явления происходили ранее или вне симуляции.

ДР: Я понимаю. Но есть и такой вариант: всё эти явления действительно имели место, а симуляция ещё не наступила. Это тоже возможно, так? Разве это не кажется очень вероятным?

НБ: Для меня это кажется вероятным, только если хотя бы одна из двух других альтернатив верна. Есть, конечно, ещё одна возможность: я что-то напутал, и доказательство симуляции ошибочно. Если посмотреть на историю науки и философии, то ошибки случались. Я допускаю такую вероятность.

Но если мы рассуждаем в тех рамках, которые мне сейчас представляются разумными, то предположение, что мы — первая цивилизация во вселенной, где когда-нибудь будет множество симуляций, маловероятно именно по этим причинам. А если мы таки первые, значит, один из двух альтернативных вариантов верен.

ДР: Это срыв башки, Ник. Чем дольше я об этом думаю, тем сложнее. Я не могу определиться в ту или другую сторону, но это страшно. И в то же время потрясающе.

НБ: Я использую такое понятие, как «решающее соображение», я немного касался этой темы сегодня. Это идея о том, что какой-то аргумент или какие-то данные кардинально меняют наш взгляд на все приоритеты, меняют не только какие-то детали, а полностью всю нашу ориентацию. Это как обращение в веру для атеиста — вся жизнь меняется, всё, что было раньше, представляется теперь бессмысленной тратой времени. Я часто гадаю: а открыли ли мы уже все решающие соображения? Ведь ещё совсем недавно некоторые соображения были нам неизвестны. Взять тот же ИИ — кто знает, может, мы должны посвятить все свои силы этой теме, а всё остальное — пустая трата времени. Я имею в виду нашу цивилизацию в целом. Если это так, то получается, что до совсем недавнего времени те, кто хотел бы принести максимум пользы цивилизации, даже не знали бы, чем заняться, потому что это решающее соображение ещё не было открыто.

И такие соображения открываются снова и снова. Я считаю, что нам ещё предстоит открыть как минимум одно, а то и больше решающих соображений. А это значит, что сейчас мы ничего не знаем. Как младенцы. И все наши попытки изменить мир разбиваются об эту преграду: мы не учитываем какие-то факторы, потому что не знаем о них.

Конечно, это не имеет особенного значения, если твоя цель — просто вести счастливую жизнь, воспитывать детей и так далее, потому что тут у нас накопилось достаточно веских доказательств, которые не меняются каждые несколько лет. Мы знаем, как налаживать отношения, мы знаем, что не стоит вредить своему здоровью, что нельзя прыгать перед поездом и так далее — всё это проверено на практике.

Но если твоя цель — как-то направить человечество для достижения максимальной пользы в будущем, то каждые несколько лет появляются новые соображения, что надо делать. Окончательной концепции у нас нет.

ДР: Ник, над этим разговором я буду думать очень долго. Спасибо тебе. Если кто-то заинтересуется твоей работой, где о ней можно почитать?

НБ: Лучше всего на моём сайте, nickbostrom.com. Спасибо и тебе!