Реферат: А. В. Турчин Ответственные редакторы

Российская Академия Наук

Институт Африки


СТРУКТУРА ГЛОБАЛЬНОЙ КАТАСТРОФЫ


Совместный проект

Центра цивилизационных и региональных исследований

Института Африки РАН и

Российского Трансгуманистического Движения.


Москва 2008


СЕРИЯ «ДИАЛОГИ О БУДУЩЕМ»

Т.2

Составитель:

А.В. Турчин

Ответственные редакторы:

Валерия Прайд

А.В. Турчин

СОДЕРЖАНИЕ


Предисловие 3


А.В. Турчин

Структура глобальной катастрофы 5


Приложения:

E. Юдковски

Искусственный интеллект как позитивный и негативный фактор глобального риска 335

А.А. Кононов

Идеологические начала общей теории неуничтожимости человечества 390

Н. Бостром

Введение в Doomsday Argument 403


Предисловие


Риск существованию – это тот риск, в котором негативный исход или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает её потенциал.

Н. Бостром. «Угрозы существованию: анализ сценариев человеческого вымирания».


Если в ХХ веке возможность вымирания человечества связывалась только с рисками глобальной ядерной войны, то в начале XXI мы можем без труда называть более десяти различных источников рисков такой глобальной катастрофы, которые связаны с развитием новых технологий, и число это постоянно растёт. Исследование этого вопроса странным образом отстаёт от многих других, более частных вопросов, что видно хотя бы по количеству общих работ на эту тему. (Что, видимо, является естественным свойством человеческой натуры: в своё время Дейл Карнеги жаловался, что в библиотеке много книг о червях (worm), но нет книг о «беспокойстве» (‘worry’).) Проблемы исчерпания нефти, будущего китайской экономики или освоения Космоса привлекают гораздо больше внимания, чем необратимые глобальные катастрофы, а исследования, в которых разные виды глобальных катастроф сопоставляются друг с другом, встречаются реже, чем предметные дискуссии по отдельным рискам. Однако бессмысленно обсуждать будущее человеческой цивилизации до того, как будет получена разумная оценка её шансов на выживание. Даже если в результате такого исследования мы узнаем, что риск пренебрежимо мал, в любом случае важно этот вопрос изучить. Однако, к сожалению, сразу могу сказать, что мы не получим этого результата. Сэр Мартин Рис оценивает шансы выживания человечества в XXI веке как 50 на 50, и я склоняюсь к тому, что это вполне обоснованная оценка.

Предлагаемая читателю книга «Структура глобальной катастрофы» посвящена мало освещённой в отечественной литературе теме: целостному обзору «угроз существованию», то есть рискам необратимой гибели всей человеческой цивилизации и вымирания человека. Цель этой книги – дать широкий и максимально достоверный обзор темы. При этом, однако, книга носит дискуссионный характер, то есть она призвана не столько дать окончательные ответы, сколько подтолкнуть мысль читателя и создать почву для дальнейших обсуждений. Многие высказанные гипотезы могут показаться излишне радикальными. Однако, говоря о них, я руководствовался «принципом предосторожности», который рекомендует рассматривать наихудший из реалистичных сценариев, когда речь идёт об обеспечении безопасности. Критерием реалистичности сценариев для меня является то, что они могут возникнуть при сохранении нынешнего темпа развития технологий в течение XXI века и не нарушают известные законы физики.

Исследование характера глобальных рисков и их вероятностная оценка необходимы, чтобы определить, насколько велика угроза и какие меры следует принять в отношении неё. И хотя возможные меры в этой книге обсуждаются, здесь вы не найдёте универсального рецепта избавления от глобальных рисков. Однако книга не должна внушить читателю ощущение неизбежности гибели. Автор полагает, что, несмотря на трудности и риски, ожидающие человечество в XXI веке, люди имеют шанс выжить и, более того, построить более совершенный мир. Однако выживание является необходимым условием для любого совершенного мира. Опять же, в этой книге мы не обсуждаем то, каким бы мог быть совершенный мир, в котором новые технологии использованы в плюс, а не в минус. Однако этому вопросу посвящён первый том серии «Диалоги о будущем», издаваемой Российским Трансгуманистическим Движением – организацией, посвящённой исследованию влияния радикальных технологических изменений на будущее человеческой цивилизации.

В этом томе вы найдёте мою монографию «Структура глобальной катастрофы», а также три статьи в приложении, необходимые для более ясного понимания темы. Монография на две большие части – методологии и собственно анализа рисков. Методология состоит в основном из критического анализа способности человеческого мышления к предсказанию и оценке глобальных рисков. (Более ранняя версия части, посвящённой методологии, вышла в сборнике ИСА РАН в виде статьи «О возможных причинах недооценки глобальных рисков».) Эта методология может быть полезна, с небольшими изменениями, и при любых других футурологических исследованиях. Затем в разделе о методологии делается ряд рекомендаций о том, как именно следует осуществлять анализ рисков. Разбор конкретных рисков во второй части состоит из максимального подробного перечня различных угроз со ссылками на источники и критического анализа. Затем исследуются системные эффекты взаимодействия разных рисков, обсуждаются способы вероятностной оценки глобальных рисков и другие связанные с этим вопросы.

В приложении в первую очередь следует отметить большую новаторскую статью американца Е.Юдковски «Искусственный интеллект как фактор глобального риска», переведённую мной на русский язык. Эта статья выходит в солидном сборнике «Риски глобальной катастрофы», который издаётся университетским издательством Оксфорда в этом году под редакцией Ника Бострома и Милана Чирковича. (Я перевёл две другие статьи из этого сборника, которые выходят в первом томе серии «Диалоги о будущем», издаваемой РТД. Это статья Юдковски «Систематические ошибки в оценке глобальных рисков» и статья Н. Бострома «Угрозы существованию: анализ сценариев вымирания». Я настоятельно рекомендую прочесть эти статьи, которые также можно найти в сети, поскольку они в значительной мере являются отправными точками для рассуждений, которые последуют далее.) Е.Юдковски – ведущий научный сотрудник Сингулярити института в Калифорнии, который занимается разработкой системы универсального искусственного интеллекта и проблемами его безопасности («дружественности»). Он написал несколько больших текстов о проблемах создания систем ИИ и обеспечения их дружественности, ввёл концепцию Seed AI, много писал о проблемах футурологии и возможной Технологической Сингулярности – резкого ускорения технологий в будущем. Его институт разработал «SIAI рекомендации по созданию дружественного ИИ», которые претендуют на то, чтобы стать отраслевым стандартом в безопасности ИИ.

Ник Бостром – шведский учёный и философ, возглавляющий институт «Будущее человечества» в Оксфорде, автор исследований по этике, теории вероятностей, футурологии и философии, неоднократно публиковался в ведущих реферируемых научных журналах Mind, Nature и др. Часть его работ по теории вероятностей посвящена малоизвестному в России логическому парадоксу, называемому Doomsday argument, название которого мы будем переводить как «Теорема о конце света». Есть много разных мнений о её истинности, ложности и границах применимости, однако нам кажется важным ознакомить читателя с этим направлением современной мысли. Поэтому в приложении добавлена статья Ника Бострома «Введение в теорему о конце света для начинающих». Хотя научное сообщество с осторожностью рассматривает эту проблему, статьи о ней публикуются в Nature в разделе гипотезы, что говорит об определённом уровне признания.

Наконец, научный сотрудник Института Системного Анализа РАН, кандидат наук А.А. Кононов в своей статье «Идеологические начала общей теории неуничтожимости человечества» подходит к проблеме глобальных рисков с точки зрения стратегии, а именно, необходимости реализации задачи «неуничтожимости человечества». Нам кажется важным опубликовать здесь эту статью, потому что она показывает возрастающий интерес среди российских учёных к проблемам глобальных рисков.

Имеет ли смысл вообще писать по-русски о глобальных катастрофах, или роль нашей страны в них слишком незначительна? Я думаю, что имеет, по следующим причинам:

Эта тема мало освещена в русскоязычной литературе и отдана на откуп разного рода сектантам и проповедникам апокалипсиса. Основные исследования не переведены (за исключением около 10 статей по проблеме, которые я перевёл в 2006-2007 годах). Открытое обсуждение этих вопросов может быть интересно не только специалистам, но и широкой публике.

Технологическое отставание России не настолько велико, чтобы служить гарантией того, что у нас не могут быть разработаны опасные технологии и созданы опасные изделия на их основе. Наоборот, РФ обладает техническим потенциалом для развития многих видов опасных технологий, в первую очередь, в области ядерного оружия и биологического. Также есть группы, работающие в области ИИ. Проводятся и высокоэнергетичные физические эксперименты.

Россия неоднократно в истории или опережала мир в важных технологических разработках (спутник, Гагарин), или доводила их до масштабного предела (Царь-бомба). Кроме того, на территории СССР произошли некоторые самые опасные в истории катастрофы (Чернобыль).

Особенности российского менталитета и организация производство («авось», «откат», ориентация на краткосрочную выгоду) после распада СССР привели к тому, что вопросам безопасности не уделяется достаточно внимания. Г.Малинецкий в своих книгах и докладах рисует бедственную картину в области предотвращения техногенных катастроф в РФ. Глобальные катастрофы привлекают ещё меньше внимания.

Информационная изоляция. Информация о рисках, связанных с создаваемыми на Западе новыми технологиями, проникает медленнее, чем сами технологии, и подавляющее большинство литературы на тему глобальных рисков не переведено.

Отсутствие жёсткого контроля позволяет существовать большому числу нелегальных разработчиков («русские хакеры»), что может быть особенно опасно в области биотехнологий.

РФ унаследовала мощные геополитические противоречия и комплекс неполноценности от распада СССР, что может способствовать осуществлению опасных проектов.

Публикации на русском могут оказать позитивное влияние на зарубежную науку и общественное мнение, увеличивая «насыщенность среды» информацией о глобальных рисках. Уникальные наработки российских исследователей могут внести свой вклад в общее дело спасения мира. Русскоязычная литература будет доступна и в странах СНГ. Кроме того, переводы на русский язык повышают статус зарубежных авторов. Многие русские студенты в будущем будут учиться или работать в зарубежных учреждениях, перенося накопленные здесь знания. И есть класс зарубежных исследователей, читающих по-русски или русского происхождения.

Россия может оказаться в обстоятельствах, когда её само существование, как части большого мира, окажется зависящим от внешних к ней обстоятельств, и станет необходимым быстрое принятие адекватное решений в условиях острой недостаточности информации. В этом случае возникнет потребность в информации и людях. Необходимо ясное понимание правительствами разных стран природы глобальных рисков.

Широта и свобода мировоззрения, как я надеюсь, свойственная мыслителям в России, может дать новый взгляд на общечеловеческие проблемы, открыть новые уязвимости и указать на новые пути предотвращения глобальных рисков.

Если Россия позиционирует себя в качестве великой державы, развивает нанотехнологии, собирается лететь на Марс и т. д., то она должна играть ответственную роль в обеспечении безопасности всего человечества.

Многое, сказанное о РФ здесь, относится и к другим странам, например, к Индии и Китаю, где технологии быстро развиваются, а культура предотвращения рисков тоже низка.

Создавая описание возможных глобальных рисков, я не мог не нарисовать определённую картину будущего человечества, то есть перед вами - футурологическая работа.

А.В.Турчин

Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом,— словом, все жизни, все жизни, все жизни, свершив печальный круг, угасли... Уже тысячи веков, как земля не носит на себе ни одного живого существа, и эта бедная луна напрасно зажигает свой фонарь. На лугу уже не просыпаются с криком журавли, и майских жуков не бывает слышно в липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно.

А.П.Чехов. «Чайка»


^ Структура глобальной катастрофы.

Введение.

Хотя книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит из обсуждения методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем обзора логических парадоксов, связанных с этой проблемой, а именно, теоремы о конце света (Doomsday argument). Наиболее существенных современных источника по проблеме три. Это – книга астрофизика Дж. Лесли «Конец света. Наука и этика человеческого вымирания», 1996, сэра Мартина Риса «Наш последний час», 2003, и сборник статей под редакцией Ника Бострома «Риски глобальной катастрофы», 2007. (Более подробно мы обсудим имеющуюся литературу в главе «Историография», в том числе упомянем и работы советских и российских авторах, писавших о глобальных рисках, в первую очередь Моисеева, однако перечисленные три книги будут нашими основными опорными точками, на которые мы будем часто ссылаться и дискутировать с ними.)

Если в книге Лесли проблеме теоремы о конце света уделено более 100 страниц, так как это было одно из первых изложений её для широкой публики, то сборник статей Бострома украшает методологическая, по сути, статья Е. Юдковски «Систематические ошибки в оценке глобальных рисков». Тем не менее, предлагаемая читателю книга значительно отличается от книг предшественников, в первую очередь широтой обзора. Например, в статье Юдковски обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в предлагаемой книге предпринимается попытка составить их полный список, и число пунктов в нём имеет порядок 150. Также и в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все разные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить сотню, что превышает число примерно в 15 рисков, обсуждаемых Бостромом в статье «Угрозы существованию». Наконец, пересказывая разные варианты теоремы о конце света, я предлагаю их классификацию, которой нет в известных мне зарубежных источниках. Важным качеством предлагающейся книги является подробный критический обзор разных щитов, бункеров и других средств защиты. Как мне кажется, высказано много существенных идей, которых нет в известных мне зарубежных источников. Это делает книгу интересной не только российскому, но и зарубежному читателю. Наконец, я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечислений различных рисков и увидеть то общее, что есть в каждом из них, а также то, как разные риски, соединяясь, могут образовывать своего рода структуру. Именно этим объясняется выбор названия книги.

Этот текст адресован любым будущим и существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними, включая различные правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды, их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель этого текста - обрисовать пространство возможностей глобальной окончательной катастрофы. Под глобальной окончательной катастрофой я имею в виду событие, которое, согласно определению Ника Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал». Полное вымирание всех людей является наиболее вероятной формой такого события, и дальше по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие.
Термины
В этой работе ряд общеупотребительных терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):

ИИ – Универсальный Искусственный Интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку

Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами».

Постапокалиптический мир – то, чем может стать земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.

Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества.

Агент - вещество, вирус, бактерия или любой другой распространяющийся фактор воздействия, причиняющий смерть.

Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано и био технологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.

^ Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.

Ошибки – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».


Часть 1

Методология.


Основной частью методологии представляется обнаружение и устранение возможных ошибок в рассуждениях о глобальных рисках. Затем следует ряд соображений рекомендательного характера о том, как следует проводить анализ глобальных рисков.


Наши рассуждения о глобальных рисках подвержены тем или иным ошибкам и искажениям, которые оказывают влияние на конечные выводы этих рассуждений, а, следовательно, и на нашу безопасность. «Ошибки» не вполне точное слово – по-английски это называется ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения». Когнитивные искажения являются естественным свойством человеческого ума, и в этом нет никакого оттенка «вины», который со школы связан с термином «ошибки». Однако важно знать, что поскольку когнитивные искажения – это естественное свойство человека, возникшего эволюционным путём, то каждый подвержен им и может найти их в своих рассуждениях. Основной способ исправления когнитивных искажений – эксперимент – не может помочь нам в случае глобальных рисков, поэтому мы должны гораздо ответственнее подойти к культуре своего мышления о них. При этом важно помнить тезис Юдковски, что любые списки когнитивных искажений предназначены для поиска ошибок в своих мыслях, а не для победы в спорах с другими людьми, поскольку во втором случае это приведёт только к накоплению ошибок в своей системе и закрытости к новой информации.

Даже если вклад каждой из нескольких десятков возможных ошибок мал, вместе они могут отклонить вероятностную оценку того или иного сценария в разы и привести к неправильному приложению средств обеспечения безопасности. Не трудно убедится в силе этих ошибок – достаточно опросить нескольких людей, знающих одни и те же факты о человеческой истории, и попросить их дать уверенный прогноз на XXI век – и вы увидите, насколько будут различаться конечные выводы: одни будут уверены в неизбежности исчерпания нефти, другие верить в торжество ветроэнергетики, трети ожидать мировой пандемии; одни буду считать вероятность применения ядерного оружия огромной, другие полагать, что это крайнемаловероятно. Исследователь глобальных рисков должен знать об этих подводных камней. В этом разделе предпринимается попытка составить список таких ошибок. Использованы работы зарубежных и российских исследователей, а также авторские наработки. Базовым текстом по проблеме является статья Елиезера Юдковского «Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков», которая выходит в Оксфорде в 2007 году в сборнике «Риски глобальной катастрофы» и в соответствии с любезным разрешением автора была переведена мной на русский язык и опубликована в первом томе серии «Диалоги о будущем». Данный список не заменяет эту статью, в который приведён математический и психологический анализ ряда приведённых здесь ошибок. Однако многие описания ошибок взяты из другой литературы или обнаружены самим автором. Анализ возможных ошибок в рассуждениях о глобальных рисках является шагом на пути к созданию методологии работы с глобальными рисками, а значит, и к их предотвращению. Интересно стремление разных групп, исследующих альтернативные сценарии будущего, составить своё список интеллектуальных ловушек. Например, недавно появилась статья о ‘cognitive biases’, влияющих на оценку теории «пика Хуберта», то есть исчерпания запасов нефти. (www.theoildrum.com)

Цель работы – свести возможные когнитивные искажения в удобный и структурированный список. При этом максимальное внимание уделено полноте списка, а не доказательству каждого отдельного пункта.

Данный список не претендует ни на полноту, ни на точность классификации, и некоторые его пункты могут оказаться тождественны другим, но сказанным иными словами. Подробное разъяснение каждого отдельной возможной ошибки в оценке риска заняло бы весь объём статьи. (см. например, мою статью «Природные катастрофы и антропный принцип», где одна из приведённых в этой статье возможных причин ошибок разбирается на более чем 20 печатных страницах.)

Вместе с тем важно помнить, что ошибкам в рассуждениях в той же мере свойственная патологическая самоорганизация, как и ошибкам и цепочкам событий, которые приводят к реальным катастрофам. Это означает, что даже небольшие ошибки, приводящие к небольшому отклонению оценок, имеют тенденцию зацепляться одна за другую, взаимоусиливаясь, особенно при возникновении положительной обратной связи с ними.

Ложный вывод – это интеллектуальная катастрофа. Нетрудно проследить на примере реальных аварий, как ошибочные рассуждения пилотов самолётов приводили к катастрофам, и даже обозначить, какие именно ошибки в рассуждениях они совершили. Можно сказать, что почти любая катастрофа происходит из-за человеческих ошибок. Эти ошибки хронологически выстраиваются так: вслед за ошибками в рассуждениях о возможностях идут ошибки в конструировании, в «предполётной» подготовке, в пилотировании, в управлении критической ситуацией, в устранении последствий аварии и в анализе её причин. Наши рассуждения о глобальных рисках в основном относятся к первой стадии, к рассуждениям о возможности и предварительной оценке вероятностей тех или иных рисков. Нет смысла выстраивать стратегию противостояния глобальным рискам до того, как определились приоритеты. Соответственно, приведённые в данной статье ошибки также относятся, в первую очередь, к самой ранней фазе противодействия глобальным рискам. Однако они могут проявлять себя и позже, на стадии конструирования механизмов зашиты и принятия конкретных решений. Тем не менее, в этом тексте не ставится задача об анализе ошибок на более поздних стадиях защиты от глобальной катастрофы, хотя и упоминается ряд причин ошибочных действий «операторов».

Отдельным вопросом является то, когда именно такие ошибки могут случиться. Одни из этих ошибок происходят в процессе дискуссий в «мирное время», когда общество решает, к каким именно рискам ему стоит готовиться. Другие в полной мере проявляются в аварийных ситуациях, когда люди вынуждены быстро оценить их опасность и принять решения. Грубо говоря, принято разделять все ошибки на ошибки «конструктора» и «пилота». Ошибки «конструктора» совершаются большими группами людей в течение многих лет, тогда как ошибки пилота совершаются одним или малой группой людей в течение секунд или минут. Это может быть, вообще говоря, неверно относительно глобальных катастроф, в случае, если ситуация начнёт развиваться настолько быстро, что проектирование и управление будут развиваться фактически в одном темпе.

Есть также вероятность, что некоторые описания ошибок, которые я здесь привожу, могут оказаться объектами моего неверного понимания – то есть тоже быть ошибочными. И нет ни малейших сомнений, что этот список не полон. Поэтому данный список следует использовать скорее как стартовую площадку для критического анализа любых рассуждений о глобальных рисках, но не как инструмент для постановки окончательного диагноза.


Возможные виды ошибок и когнитивных искажений разделены на следующие группы:

Ошибочные представления о роли ошибок.

Ошибки, возможные только относительно глобальных рисков в силу их специфики.

Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.

Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.

Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях – в том числе в ядерных технологии и астрономии.)



^ 1. Ошибочные представления о роли ошибок.
Опасная иллюзия состоит в том, что ошибки в рассуждениях о глобальных рисках или невелики, или легко обнаружимы и устранимы. Корни этой иллюзии в следующем рассуждении: «Раз самолёты летают, несмотря на все возможные ошибки, и вообще жизнь на Земле продолжается, то значение этих ошибок невелико». Это аналогия неверна. Самолёты летают потому, что в ходе их эволюции, конструирования и испытаний разбились тысячи машин. И за каждой этой аварией стояли чьи-то ошибки, которые каждый раз учитывались и, в целом, не повторялись. У нас нет тысячи планет, которые мы можем разбить, чтобы понять, как нам правильно обращаться с взрывоопасной комбинацией био, нано, ядерных и ИИ технологий. Мы не можем использовать и тот факт, что Земля ещё цела для каких-либо выводов о будущем (см. мою статью «Природные катастрофы и антропный принцип»), потому что нельзя делать статистических выводов по одному случаю. И, конечно, особенно потому, что будущие технологии принципиально изменят жизнь на Земле. Итак, мы лишены привычного способа устранения ошибок – проверки. И, тем не менее, именно сейчас нам важнее всего в истории человечества не ошибиться.
^ 1.1 Незавершённость этого списка ошибок.
Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей – или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.

Под словом когнитивные искажения я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, могущие оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.
^ 2. Ошибки, возможные только относительно угроз существованию.


2.1. Путаница между глобальными катастрофами и просто очень большими катастрофами.
Есть тенденция путать глобальные катастрофы, ведущие к вымиранию человечества (обозначаемые в англоязычной литературе термином «existential risks») и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Критерием глобальных катастроф является необратимость. В русском языке пока нет устоявшегося краткого термина для катастроф, ведущих к вымиранию человечества. Я называю их глобальными катастрофами. Есть ещё термин-калька – экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. Ник Бостром «Сценарии человеческого вымирания» [Bostrom, 2001].) Разница между этими двумя видами катастроф – не в количестве погибших людей и испытанных ими страданий, а будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на земле опять будут государства, города и самолёты и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам. (От древних греков остался, по некоторым подсчётам, только 1 Гб информации, а влияние их на культуру огромно.)
^ 2.2 Недооценка неочевидных рисков.
Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём, их вероятность, и в связи с ними ничего не предпринимается. Некоторые неочевидные риски известны только узкому кругу специалистов, которые высказывают диаметрально противоположные мнения в оценке их реальности и вероятности. Эти мнения могут выглядеть для стороннего наблюдателя в равной мере обоснованными, что заставляет его выбирать между мнениями экспертов, или исходя из своих личных предпочтений, или «бросая монетку». Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в отношении которых ещё много вопросов.

По мере роста наших знаний о природе и могущества техники постоянно росло число известных нам причин возможного человеческого вымирания. Более того, этот рост ускоряется. Поэтому вполне разумно ожидать, что есть важнейшие риски, о которых мы ничего не знаем. И хуже из них те риски, о которых мы физически не можем ничего узнать, пока они не случатся.

Кроме того, очевидные риски гораздо удобнее анализировать. Есть огромный объём данных по демографии, военному потенциалу и запасам сырья, которые можно анализировать детально и подробно. Объём этого анализа может заслонять тот факт, что есть другие риски, о которых нам очень мало известно, и которые не годятся для анализа в численной форме, но которые тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).

Нетрудно заметить, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами того, что происходит (особенно ошибки в оценке высоты и степени опасности процесса). Наоборот, когда такое понимание имеется, самолёт удаётся спасти часто в совершенно невероятных условиях. И хотя для нас апостериори причины катастрофы очевидны, для самих пилотов они были в тот момент совершено неочевидны.
^ 2.3 Глобальные риски нетождественны национальной безопасности.
Каждая страна тратит на национальную безопасность больше денег, чем на глобальную. Однако глобальные риски представляют большую угрозу для каждой страны, чем национальные – просто потому что если погибнет весь мир, то и страна вместе с ним. При этом часто те действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны возрастает, - во всяком случае, по мнению её руководства - когда она накапливает запасы ядерного и бактериологического оружия, но безопасность всего мира в результате гонки вооружений падает. Или, например, проблемой РФ является депопуляция, а всего мира – перенаселение, равно как и для Московского мегаполиса. Ещё пример: один американский фонд реализует проект по предотвращению глобальных рисков и террористических атак на Америку. Но для нас понятно, что первое и второе – не одно и тоже.
^ 2.4. Ошибка, связанная с психологизацией проблемы.
Издавна существует стереотип сторонника «конца света», толкователя апокалипсиса, – как отверженного обществом индивида, пытающегося своими нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, свои неудачи в финансах и личной жизни. Вне зависимости от истинности или ложности такой интерпретации психологических мотивов людей, это не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если это не касается их собственной жизни.
^ 2.5. Отождествление глобальной катастрофы со смертью всех людей и наоборот.
вымирание человечества не означает гибели всех людей, и наоборот. Легко можно представить себе сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства, то это будет конец цивилизации, хотя огромное большинство людей будет некоторое время ещё живо. Или если – в неком фантастическом сценарии - инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам. Более того, все живущие в настоящий момент люди, если не будет изобретено радикальное средство продления жизни, вымрут к началу 22 века, равно как сейчас вымерли люди, жившие в 19 веке. Но мы не рассматриваем это как глобальную катастрофу, потому что сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.
^ 2.6 Стереотип восприятия катастроф, который сложился в результате работы СМИ.
СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт смотрения телевизионных репортажей о катастрофах выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.

В СМИ регулярно имеет место непропорциональное освещение рисков. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу, что часто оказывается, что реальный ущерб непропорционален никаким образом его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограниченно, эти идеи создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).
^ 2.7 Ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила.
Это имеет несколько последствий.

А) Отвержение некого сценария как фантастического – но глобальная катастрофа не может быть чем-то иным, чем «фантастическим» событием.

Б) Ошибка, могущая возникнуть в связи с неосознаванием того факта, что никакие события невозможно опознать как глобальную катастрофы ни заранее, ни в процессе – а только апостериори. Возможно, что никто не узнает, что это на са