А.В. Турчин

1.Общие замечания

Пространство возможностей

В этой части мы очертим и проанализируем «пространство возможностей», в котором может произойти глобальная катастрофа. «Пространство возможностей» – термин, восходящий к книге «Фантастика и футурология» Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей Холодной войны, которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: Карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен – хотя видимость правдоподобия от этого возрастает. Вместе с тем анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.

Один из важнейших способов достижения безопасности – это учёт всех возможных сценариев в соответствии с их вероятностями, построение «древа отказов». Например, безопасность авиатранспорта достигается, в частности, за счёт того, что учитываются всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, оно должно дать информацию, удобную для осмысления и пригодную для практического использования – и желательно, чтобы эта информация была бы адресно адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.

Обратите внимание, что при чтении одним моменты могут показаться вам очевидными, другие интересными, а третьи – вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.

Вся информация взята из открытых источников, доступных в Интернете.

Рассматриваемый промежуток времени: XXI век

В этой книге анализируются риски существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница в 2100 году является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года). Но некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века (например, глобальное потепление), и в этом случае мы обсуждаем их. Эта граница позволяет нам не рассматривать в качестве рисков глобальной катастрофы отдалённые во времени космические события, вроде превращения Солнца в красного гиганта. И взята эта граница не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000 – это станет очевидным из дальнейшего анализа конкретных рисков.

Иначе говоря, любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени содержит неустранимую ошибку, я расширяю её до 100 лет. (Разницу между 2108-ым годом – 100 лет от настоящего момента – и 2100-ым годом – конец XXI века – мы не будем принимать во внимание, кроме специально оговоренных случаев.)

Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни 20, а только несколько лет до того момента, когда вероятность глобальной катастрофы достигнет максимума. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна – о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в главе «о достижении устойчивого состояния».) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.

Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, так как есть класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт в первую очередь об опасных приложениях биотехнологий (см. дальше в соответствующей главе). Поэтому возможно, следовало бы говорить о первой половине века. Иначе говоря, глобальные катастрофы могут случиться не с некими абстрактными нашими потомками, а с нами. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти.

Проблемы численного вычисления вероятностей различных сценариев

Начну с цитаты из эссе «О невозможности прогнозирования» С. Лема: «Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: «Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?» Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...»

Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей а также с хаотическим характером всей системы. С другой стороны, отсутствие каких-либо оценок нивелирует ценность построений. При этом получение неких численных оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим. Допустим, мы выясним, что вероятность возникновения опасного недружественного ИИ составляет 14 % в ближайшие 10 лет. Как нам применить эту информацию? Или, если всё-таки случится катастрофа, имевшая исходную вероятность в 0,1 %, мы всё равно не узнаем, какова была её исходная вероятность.

Я исхожу из того, что оценки вероятности нужны для последующего принятия решений – о том, каким проблемам стоит уделить внимание и ресурсы, а каким можно пренебречь. Однако цена предотвращения разных классов проблем различна – одни предотвратить относительно легко, а другие фактически невозможно. Поэтому для вычисления вероятностей мы будем пользоваться байесовой логикой и теорией принятия решения в условиях неопределённости. Получившиеся в результате числа будут не реальными вероятностями (в смысле статистическими распределениями разных глобальных рисков по множеству возможных будущих планеты), которые нам неизвестны, а нашими наилучшими субъективными оценками этих вероятностей.

Далее, такое вычисление должно учитывать временную последовательность разных рисков. Например, если риск А имеет вероятность в 50 % в первой половине XXI века, а риск Б – 50 % во второй половине XXI века, то реальные наши шансы погибнуть от риска Б – только 25 %, потому что в половине случаев мы до него не доживём.

Наконец, для разных рисков мы хотим получить погодовую плотность вероятности. Напомню, что здесь должна быть применена формула непрерывного нарастания процентов, как в случае радиоактивного распада. (Например, погодовой риск в 0,7 % даст 50 % вымирания за 100 лет, 75% за 200 и 99,9% за 1000 лет.) Это означает, что любой риск, заданный на неком промежутке времени, можно нормировать на «период полураспада», то есть время, на котором он бы означал 50% вероятность вымирания цивилизации.

Иначе говоря, вероятность вымирания за период времени [0; T] равна:

P(T) = 1 – 2 ,

Где Т – время полураспада. Тогда погодовая вероятность будет P(1) = 1 – 2 , Следующая таблица показывает соотношение этих параметров.

Период, за который глобальная катастрофа случится с вероятностью в 50%: Вероятность этого события в ближайший год, % Вероятность вымирания за 100 лет (то есть к 2107г). Примерно равна шансам вымирания в XXI веке, % Соответствующие шансы выживания за 100 лет: Период гарантированного вымирания с вероятностью

99,9%, лет:

10 000 0.0069% 0,7% 99,3% 100 000

1 600 0.0433% 6% 94% 16 000

400 0.173%

12,5% 87,5% 4 000

200 0.346% 25% 75% 2 000

100 0.691% 50% 50% 1 000

50 1,375% 75% 1 к 4 500

25 2,735% 93,75% 1 к 16 250

12,5 5,394% 99,6% 1 к 256 125

6 10,910% 99,9984% 1 к 16 536 60

Обратите внимание на низ этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере «период полураспада», который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти наверняка есть ещё несколько лет до «конца света». С другой стороны, если мы хотим пережить XXI век наверняка, нам надо приблизить погодовую вероятность вымирания практически к нулю.

В методологии мы рассмотрели список из примерно 150 возможных логических ошибок, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составляет не более одного процента, результат может быть ошибочен в разы и даже порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. Е. Юдковски в своей основополагающей статье «Систематические ошибки в рассуждения, влияющие на оценку глобальных рисков» приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 99 процентной уверенности они дают для этих величин. Результаты этих экспериментов удручают (позволю себе большую цитату):

«Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество «Врачей и хирургов» в жёлтых страницах бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, такую, что вы уверенны на 99%, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99% уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98% уверенности (confidence interval). Если вы хорошо откалиброваны (well-calibrated), то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.

Alpert и Raiffa (1982) задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98% интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2%, случались в 42.6%.

Другую группу из 35 испытуемых попросили оценить 99.9% верхние и нижние границы уверенности. Они оказались неправы в 40% случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47% случаев. Наконец, четвёртая группа из 35 субъектов должна была указать «невероятно малое» и «невероятно большое» значение параметра; они ошиблись в 38% случаев.

Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки – и затем их попросили дать 98% интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19% случаях, что являет собой значительное улучшение их результата в 34% до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2%.

Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50% уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Christensen-Szalanski и Bushyhead (1981) опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88%, доля пациентов, действительно имевших пневмонию, была менее 20%.

Lichtenstein (1982) производит обзор 14 исследований на основании 34 экспериментов выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться в почти каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.

Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Buehler (1994) попросил студентов-психологов предсказать важный параметр – время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт «так плохо, как только может». В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в худшем случае.

Buehler (1995) опросил студентов о времени, к которому студенты на 50% уверены, на 75% уверены и на 99% уверены, что они закончат свои академические проекты. Только 13% участников закончили свои дипломы к моменту, которому приписывали 50% вероятность, только 19% закончили к моменту 75% оценки и 45% закончили к 99% уровню. Buehler et. al. (2002) пишет «результаты выхода на уровень 99% достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты»». Конец цитаты.

Итак, есть серьёзные основания считать, что мы должны крайне расширить границы уверенности в отношении вероятностей глобальных рисков, чтобы искомая величина попала внутрь заданного интервала.

Обозначим величиной N степень расширения интервала уверенности для некой величины A следующим образом: (A/N; A*N). Например, если мы оценивали нечто в 10%, и N=3, то интервал будет (3%; 30%). Каково должно быть N для глобальных рисков, пока сказать трудно, но мне кажется разумным выбрать N=10. В этом случае, мы с одной стороны, получаем очень широкие интервалы уверенности, в которые искомая величина, скорее всего, попадёт, а с другой стороны, эти интервалы будут различны для различных величин.

Другой способ определения N – изучить среднюю ошибку, даваемую экспертами в их оценках и ввести такую поправку, которая бы покрывала обычную ошибочность мнений. То, что в проектах ядерного реактора и космического челнока реальное значение N было между 40 и 100, говорит о том, что, возможно, мы слишком оптимистичны, когда принимаем его равным 10. Вопрос этот нуждается в дальнейшем изучении. Это обобщение не снижает ценности таких вычислений, поскольку разница между некоторыми рисками может оказаться в несколько порядков. А для принятия решения о важности противостоянии той или иной опасности нам нужно знать порядок величины риска, а не риск с точностью до второй цифры после запятой, как это можно и нужно в страховании и финансовых рисках.

Итак, мы предполагаем, что вероятность глобальных катастроф можно оценить в лучшем случае с точностью до порядка, причём точность такой оценки будет плюс-минус порядок, и что такого уровня оценки достаточно, чтобы определить необходимость дальнейшего внимательного исследования и мониторинга той или иной проблемы. (Очевидно, что по мере того, как проблема будет приближаться к нам по времени и конкретизироваться, мы сможем получить более точные оценки в некоторых конкретных случаях, особенно в легко формализуемых задачах типа пролёта астероидов и последствий ядерной войны). Похожими примерами шкал риска являются Туринская и Палермская шкалы риска астероидов.

В силу сказанного кажется естественным предложить следующую вероятностную классификацию глобальных рисков в XXI веке (рассматривается вероятность на протяжении всего XXI века при условии, что никакие другие риски на неё не влияют):

1) Неизбежные события. Оценка их вероятности - порядка 100 % в течение всего века. Интервал: (10%; 100%) (Иначе говоря, даже то, что нам кажется неизбежным, может быть просто весьма вероятным.)

2) Весьма вероятные события – оценка вероятности порядка 10 %. (1%; 100%)

3) Вероятные события – оценка порядка 1 %. (0,1%; 10%)

4) Маловероятные события – оценка 0,1 %. (0,01%; 1%)

5) События с ничтожной вероятностью – оценка 0,01 % и меньше. (0%; 0,1%)

Пунктами 4) и 5) мы могли бы пренебречь в нашем анализе, поскольку их суммарный вклад меньше, чем уровень ошибок в оценке первых трёх. Однако на самом деле ими пренебрегать не стоит, так как возможна значительная ошибка в оценке рисков. Далее, важно количество событий с малой вероятностью. Например, если возможно несколько десятков разных сценариев с вероятностью (0,1%; 10%), то всё это множество имеет твёрдый интервал (1%; 100%). К категории 1 относится только тот факт, что в течение XXI века мир существенно изменится.

Должна ли сумма вероятностей отдельных глобальных рисков не превышать 100%? Предположим, что мы отправляем в поездку неисправный автомобиль. Вероятность того, что он потерпит аварию из-за того, что у него проколота шина, равна 90%. Однако, предположим, что у него, помимо этого, неисправны тормоза, и если бы шины были исправны, то вероятность аварии от неисправности тормозов тоже бы составляла 90%. Из этого примера видно, что вероятность каждого глобального риска, вычисляемая в предположении (очевидно, ложном), что нет других глобальных рисков, действующих в то же самое время, не может просто складываться с вероятностями других глобальных рисков.

В нашем примере шансы машины доехать до конца пути равны 1%, а шансы, что причиной аварии стал каждый из двух рисков – 49,5%. Предположим, однако, что первые полпути дорога такова, что авария может произойти только из-за неисправных шин, а вторую – только из-за неисправных тормозов. В этом случае до конца доедет тоже только 1% машин, но распределение вкладов каждого риска будет иным: 90% машин разобьётся на первом участке дороги из-за шин, и только 9% на втором из-за неисправных тормозов. Этот пример показывает, что вопрос о вероятности того или иного вида глобальной катастрофы некорректен, пока не указаны точные условия.

В наших рассуждениях мы будем широко пользоваться Принципом предосторожности, то есть мы будем предполагать, что события могут сложиться наихудшим реалистичным образом. При этом под реалистичными мы будем считать следующие сценарии: а) не противоречащие законам физики б) возможные при условии, что наука и техника будут развиваться с теми же параметрами ускорения, что и в настоящий момент. Принцип предосторожности соответствует указанной Юдковски и проверенной на многих экспериментах закономерности, что результат, который люди получают относительно будущего, обычно оказывается хуже их самых худших ожиданий. При расширении вероятностных промежутков нам следует уделять внимание в первую очередь расширению в худшую сторону – то есть в сторону увеличения вероятности и уменьшения оставшегося времени. Однако если некий фактор, например создание защитной системы, может нам помочь, то оценки времени его появления следует увеличивать. Иначе говоря, консервативной оценкой времени появления домашних конструкторов биовирусов будет 5 лет, а времени появления лекарства от рака – 100. Хотя, скорее всего, то и другое появится через пару десятков лет.

В экономике применяется следующий метод предсказания – опрос ведущих экспертов о будущем некого параметра и вычисление среднего арифметического. Очевидно, это не позволяет узнать действительное значение параметра, но позволяет сформировать «best guess» – наилучшее предположение. Тот же метод можно применить, с определённой осторожностью, и для оценки вероятности глобальных катастроф. Допустим, в отношении глобального потепления из тысяч экспертов только один говорит, что она наверняка приведёт к полному вымиранию человечества. Тогда применение этой методики даст 0,1% шансы вымирания.

Высказанные соображения пригодятся нам при дальнейшем исследовании и классификации катастроф.

Численные оценки вероятности глобальной катастрофы, даваемые различными авторами

Далее я привожу известные мне оценки ведущих экспертов в этой области . Дж. Лесли, 1996 «Конец света»: 30% в ближайшие 500 лет с учётом действие теоремы о Конце света (Doomsday argument – см. главу о нём в конце книги), без него – 5%.

Бостром, 2001, «Анализ сценариев вымирания»: «Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и наивысшая оценка может быть значительно больше… В целом, наибольшие риски существованию на отрезке времени в два столетия или меньше кажутся связанными с активностью продвинутой технологической цивилизации».

Сэр Мартин Рис, 2003 «Наш последний час»: 50% в XXI веке. (Курцвейль приходит к аналогичным выводам.)

Может показаться, что эти данные не сильно расходятся друг с другом, так как во всех случаях фигурируют десятки процентов. Однако промежуток времени, на который даётся это предсказание, каждый раз сокращается (пятьсот лет – двести лет – сто лет), в результате чего погодовая плотность вероятности растёт. А именно: 1996 – 0,06% (и даже 0,012% без учёта DA), 2001 – 0,125%, 2003 – 0,5%.

Иначе говоря, за десять лет ожидаемая оценка плотности вероятности глобальных катастроф, по мнению ведущих экспертов в этой области, возросла почти в 10 раз. Разумеется, можно сказать, что 3 эксперта недостаточно для статистики, и что они могли взаимно влиять друг на друга, однако тенденция неприятная. Если бы мы имели право экстраполировать эту тенденцию, то в 10-е годы мы можем ожидать оценок погодовой вероятности вымирания в 5 процентов, а в 20-е – в 50 процентов, что означало бы неизбежность вымирания до 2030 года. Несмотря на всю свою спекулятивность, эта оценка совпадает с другими оценками, полученными далее разными независимыми способами.

С другой стороны, в годы холодной войны оценка вероятности вымирания тоже была высока. Исследователь проблемы внеземных цивилизаций фон Хорнер приписывал «гипотезе самоликвидации психозоя» шансы в 65%. Фон Нейман считал, что а) ядерная война неизбежна и б) все в ней погибнут.

Глобальные катастрофы и горизонт прогноза

Целью данной работы является попытка проникнуть немного далее, чем позволяет нам обычный горизонт прогноза – туда, где за пределами однозначного прогноза виднеются туманные очертания разных возможностей. Я полагаю, что реальный горизонт однозначного прогноза, который мы можем делать со значительной достоверностью, составляет 5 лет, тогда как пространство за горизонтом, где мы можем усмотреть разные возможности, составляет ещё 20 лет после этого момента. И за этим моментом следует абсолютная непредсказуемость. Постараюсь это обосновать.

Оценка в 5 лет возникла из экстраполяции исторических промежутков, на которых в прошлом ситуация в мире настолько менялась, что конкретные политические и технологические расклады полностью устаревали. От открытия цепной реакции до атомной бомбы прошло 6 лет, ещё 7 – до первой водородной, а с этого момента – ещё 5 лет до запуска первого спутника. Примерно по 5 лет длились и обе мировые войны, 6 лет заняла эпоха перестройки. Поступая в вуз на 5 лет, человек не знает обычно, куда он из него пойдёт работать и какую выберет специализацию. На 5 лет обычно выбирают президентов, и никто не знает, кто будет президентом через срок. СССР управлялся пятилетними планами. Периодичность появления принципиально новых продуктов и их огромных рынков: PC, интернет, сотовые телефоны – тоже имеет порядок нескольких лет. Планы внедрения новых технологий микропроцессоров также составляют не более нескольких лет. При этом основной силой в ожиданиях на ближайшие несколько лет оказывается «сила инерции», то есть мы можем с высокой вероятностью говорить, что в течение ближайших 5 лет будет примерно тоже, что и сейчас, за исключением ряда развивающихся тенденций. Однако, когда мы говорим о сроках более 5 лет, то более вероятным выглядит утверждение о том, что ситуация кардинально изменится, чем то, что она будет такой же, как сейчас. Эффект ускорения исторического времени, о котором мы будем говорить дальше, вероятно, сокращает этот срок однозначного прогноза.

Таким образом, мы можем сказать, что до начала «полосы тумана» в однозначных прогнозах будущего – примерно 5 лет, то есть это 2013 год от момента, когда я пишу эти строки – то есть 2008 года. Иначе говоря, мы более-менее отчётливо представляем, какие технологии будут в ближайшие пять лет. И гораздо более смутно представляем более поздние технологии. При этом есть много отдельных технических проектов вплоть до 2020-х годов – скажем, ИТЭР или освоение Луны, и есть многие бизнес-планы, которые рассчитаны на срок до 30 лет, скажем, долгосрочная ипотека. Просто 5 лет – это примерный срок, за которым неопределённость в глобальном состоянии всей системы начинает преобладать над определённостью в самых разных видах человеческой деятельности. При этом с течением времени всё большая неопределённость приходится не на технологические проекты, а на открытия. И хотя мы можем сказать, что некоторые проекты составлены на 20 лет вперёд, мы не знаем, какие факторы будут самыми главными в экономическом, политическом и техническом развитии.

Абсолютным пределом в прогнозах оказывается 2030 год, в районе которого предполагаются возможными мощные нанотехнологии, искусственный интеллект и полное овладением биоконструированием. После этой даты нет смысла в оценках кривых роста популяции или запасов каменного угля, поскольку мы ничего не можем сказать о том, как повлияют сверхтехнологии на эти процессы. С другой стороны, большая неопределённость есть в выборе самой этой даты. Она часто фигурирует в разных дискуссиях о будущем технологий, о чём речь пойдёт дальше в главе про Технологическую Сингулярность. Очевидно, что неопределённость в дате «2030 год» не менее пяти лет. Если произойдёт некая неокончательная катастрофа, то она может резко расширить горизонт прогноза просто за счёт сужения пространства возможностей (в духе: «теперь мы будем сидеть в бункере 50 лет»). Хотя большинство футурологов, пишущих на тему новых технологий, предполагают, что сверхтехнологии созреют к 2030 году, некоторые относят появление зрелых нанотехнологий и ИИ к 2040-ым годам, однако мало кто решается дать обоснованные предсказание на более поздние даты. Кроме того, помимо неопределённости, связанной с нашим незнанием темпов развития разных технологий, их конвергенция в ходе Технологической Сингулярности даёт неопределённость более высокого порядка, похожую на квантовую, но связанную с тем, что мы не можем предсказывать поведение интеллекта, значительно превосходящего наш.

Однако надо иметь в виду, что время предсказуемости постоянно уменьшается в связи с ускорением прогресса и ростом сложности системы. Поэтому, высказывая предположения о границе предсказуемости, мы уже делаем некий прогноз на будущее – хотя бы о том, что степень его изменчивости будет сохраняться. Очевидно, однако, что хотя граница предсказуемости постепенно снижается за счёт ускорения факторов прогресса, она может возрастать за счёт нашего лучшего предвидения и успехов в создании устойчивого общества.

Здесь также действует парадокс среднесрочных прогнозов. Мы можем сказать, что будет с человеком завтра (примерно то же самое, что и сегодня), или через десятки лет (он состарится и умрёт), но мы не можем сказать, что будет через 10 лет. Также и про человечество мы можем сказать, что оно к концу XXI века или перейдёт в постиндустриальную фазу с нанотехнологиями, искусственным интеллектом и почти физическим бессмертием, или к этому моменту погибнет, не выдержав быстроты изменений. Однако прогноз на 15 лет гораздо менее очевиден.

В силу сказанного, хотя мы и исследуем риски глобальной катастрофы во всём XXI веке, наибольшей интерес для нашего исследования представляет промежуток в примерно два десятилетия между 2012 и 2030 годами. До этого момента вероятность глобальной катастрофы в целом известна и мала, а после него – мы утрачиваем, за рядом исключений, возможность что-либо точно предполагать.

Историография

Не имея достаточно места для полного пересказа истории исследования различных рисков я предлагаю читателю следующую краткую схему:

1. Античные, средневековые и мистические представления о конце света по воле Бога или в результате войны демонов.

2. Ранненаучные представления о возможности «тепловой смерти» Вселенной и подобных сценариев. Ситуация в первой половине XX века, грациозные природные катастрофы в фантастике: Г. Уэллс.

3. Яркое осознание способности человечества истребить себя, начиная с 1945 года, в связи с возникновением ядерного оружия. Кун «Термоядерная война». Шют Н. «На берегу». Работы Моисеева и Сагана по ядерной зиме. Фон Хорнер – книга с объяснением возможных причин парадокса Ферми. Основное объяснение – высокая вероятность вымирания цивилизаций на технологической стадии.

4. Глобальные риски в классической футурологии. Постепенно эти риски становятся основным вопросом футурологии, а в начале были случайным событием.

5. 1960-1980-е годы. Вторая волна, связанная с осознанием угроз от биологического, нанооружия, враждебного ИИ, искусственно сдвигаемых астероидов и других отдельных рисков. Роль фантастики в этом. Вторая половина 20 века. Деятельность Станислава Лема. «Непобедимый», «Сумма технологий», «Фантастика и футурология» и другие работы. Эрик Дрекслер «Машины созидания» – 1986. Конференция в Асиломаре по безопасности биотехнологий.

6. Появление обобщающих работ Азимова (1980), Лесли (1996), Мартина Риса (2003), Познера (2004).

7. Анализ логических парадоксов, связанных с глобальными рисками – Doomsday argument в разных формах. Лесли, Бостром, Готт, Кейв. Дискуссия развернулась в 1990-е годы.

8. Развитие синергетики и обращение к системному анализу будущего и системному анализу разных катастроф. Работы Пригожина, Ханзена и российских авторов С.П. Курдюмова, Г.Г. Малинецкого, А.П. Назаретяна и др.

9. Понимание связи между глобальными рисками и «Технологической Сингулярностью». Бостром, Юдковский, Капица, А.Д. Панов. М. Чиркович (Circovic) в Сербии.

10. Статьи и книги с исследованиями отдельных рисков. Фрейтас «Серая слизь». Кэрриген «SETI хакер», Чиркович «Геоинженерия, пошедшая насмарку», «Doomsday men» Смита, «Случайная ядерная война» Блера.

11. Возникновение методологии анализа глобальных рисков. Переход от перечисления рисков к метаанализу человеческой способности обнаруживать и правильно оценивать глобальные риски. Работы Бострома и Юдковского. Сборник «Риски глобальной катастрофы» в Оксфорде – 2008. Также в 2008 году выходит специальный выпуск журнала Futures под редакцией Брюса Тонна, посвящённый рискам человеческого вымирания .

12. Возникновение общественных организаций, пропагандирующих защиту от глобальных рисков. Lifeboat Foundation. Фильм Technocalipsis.

13. Исследование вопроса в России. Е.А. Абрамян «Судьба цивилизации» , Интернет-проект А.Кононова о неуничтожимости цивилизации . А.В. Карнаухов – исследования парниковой катастрофы . Мои переводы. Статьи в сборнике ИСА РАН.

Изучение глобальных рисков идёт по следующей цепочке: осознание одного глобального риска и самого факта возможности вымирания в ближайшем будущем, затем осознание ещё нескольких глобальных рисков, затем попытки создания исчерпывающего списка глобальных рисков, затем создание системы описания, которая позволяет учитывать любые глобальные риски и определять опасность любых новых технологий и открытий. Система описания обладает большей прогностической ценностью, чем просто список, так как позволяет находить новые точки уязвимости, подобно тому, как таблица Менделеева позволяет находить новые элементы. И затем исследование границ человеческого мышления о глобальных рисках с целью создания методологии – то есть способа эффективно находить и оценивать глобальные риски.

Уровни возможной деградации

Хотя в этой книге мы исследуем глобальные катастрофы, которые могут привести к вымиранию людей, нетрудно заметить, что те же катастрофы в несколько меньших масштабах могут просто отбросить человечество сильно назад. Будучи отброшенным назад, человечество может оказаться на промежуточной ступени, с которой можно шагнуть как к дальнейшему вымиранию, так и восстановлению. Поэтому один и тот же класс катастроф может быть как причиной человеческого вымирания, так и фактором, открывающим окно уязвимости для следующих катастроф, о чём мы подробнее будем говорить позже. Однако при перечислении возможных однофакторных сценариев катастрофы мы укажем их потенциал как к окончательному уничтожению, так и к общему понижению устойчивости человечества.

В зависимости от тяжести произошедшей катастрофы могут быть различные степени отката назад, которые будут характеризоваться разными вероятностями последующего вымирания, дальнейшего отката и возможности восстановления. Поскольку термин «постапокалипсис», хотя и является оксюмороном, употребляется по отношению к жанру литературы, описывающей мир после ядерной войны, мы тоже иногда будем его употреблять в отношении мира, где произошла некая катастрофа, но часть людей выжила. Можно выделить несколько возможных ступеней отката:

1. Откат общества назад, как после распада СССР или краха Римской империи. Здесь происходит значительное прекращение развития технологий, уменьшение связности, падение численности населения на несколько процентов, однако некоторые существенные технологии продолжают успешно развиваться. Например, компьютеры в постсоветском мире, некоторые виды земледелия в раннем средневековье. Производство и применение очень опасных вооружений может продолжаться – что чревато вымиранием или откатом ещё ниже в результате следующей фазы войны. Восстановление весьма вероятно и займёт от десятков до сотен лет.

2. Значительная деградация общества, отчасти как в современном Афганистане, где люди умеют только сеять мак и стрелять из автомата Калашникова. Утрата государственности и распад на воюющие между собой единицы. Основная форма деятельности – грабёж. Такой мир изображается в фильмах «Безумный Макс», «Водный мир» и во многих других произведениях на тему жизни после ядерной войны. Население сокращается в разы, но, тем не менее, миллионы людей выживают. Воспроизводство технологий прекращается, но отдельные носители знаний и библиотеки сохраняются. Такой мир может быть объединён в руках одного правителя, и начнётся возрождение государства. Дальнейшая деградация произойдёт скорее случайно – в результате эпидемий, загрязнения среды, случайного применения оружия, сила которого неочевидна.

3. Катастрофа, в результате которой выживают только отдельные небольшие группы людей, не связанные друг с другом: полярники, экипажи морских кораблей, обитатели бункеров. С одно стороны, малые группы оказываются даже в более выгодном положении, чем в предыдущем случае, так как в них нет борьбы одних людей с другими. С другой стороны, силы, которые привели к катастрофе таких масштабов, очень велики и, скорее всего, продолжают действовать и ограничивать свободу перемещения людей из выживших групп. Эти группы вынуждены изо всех сил бороться за свою жизнь. Они могут осуществлять доработку неких технологий, если это нужно для их спасения, но только на базе уцелевших объектов. Период восстановления при самых благоприятных обстоятельствах займёт сотни лет и будет связан со сменой поколений, что чревато утратой знаний и навыков. Основой выживания таких групп будет способность к воспроизводству половым путём.

4. Только несколько человек уцелело на Земле, но они неспособны ни сохранять знания, ни дать начало новому человечеству, как Адам и Ева. Даже группа, где есть мужчины и женщины, может оказаться в таком положении, если факторы, затрудняющие расширенное воспроизводство, перевешивают способность к нему – например, если дети рождаются всё более и более больными. В этом случае люди, скорее всего, обречены, если не произойдёт некое чудо.

Можно также обозначить «бункерный» уровень – то есть уровень, когда выживают только те люди, которые находятся вне обычной среды. И находятся они там или нарочно, или случайно, если отдельные группы людей случайно уцелели в неких замкнутых пространствах. Сознательный переход на бункерный уровень возможен даже без потери качества – то есть человечество сохранит способность и дальше быстро развивать технологии.

Возможны и промежуточные фазы постапокалиптического мира, но я полагаю, что перечисленные четыре варианта являются наиболее характерными. С каждого более глубокого уровня есть ещё больше шансов упасть ещё ниже и меньше шансов подняться. С другой стороны, возможен островок стабильности на уровне родо-племенного строя, когда опасные технологии уже разрушились, последствия их применений выветрились, а новые технологии ещё не созданы и не могут быть созданы

При этом неверное думать, что откат назад – это просто перевод стрелок исторического времени на век или тысячелетие в прошлое, например, на уровень XIX века, или уровень XV века. Деградация технологий не будет линейной и одновременной. Например, такую вещь, как автомат Калашникова, забыть будет очень сложно. Даже в Афганистане местные умельцы научились вытачивать грубые копии Калашникова. Но в обществе, где есть автомат, рыцарские турниры и конные армии невозможны. То, что было устойчивым равновесием при движении от прошлого к будущему, может не быть равновесным состоянием при деградации. Иначе говоря, если технологии разрушения будут деградировать медленнее, чем технологии созидания, то общество обречено на непрерывное скольжение вниз.

Однако мы можем классифицировать степень отката назад не по количеству жертв, а по степени утраты знаний и технологий. В этом смысле можно употреблять исторические аналогии, понимая, однако, что забывание технологий не будет линейным. Поддержание всё более нижнего уровня требует всё меньшего числа людей, и он всё более устойчив как к прогрессу, так и к регрессу. Такие сообщества могут возникнуть только после длительного периода «утряски» после катастрофы.

Относительно «хронологии» возможны следующие базовые варианты отката в прошлое (отчасти аналогичные предыдущей классификации):

1. «Уровень 19 века» - железные дороги, уголь, огнестрельное оружие и всё. Уровень самоподдержания требует, вероятно, десятков миллионов человек.

2. Уровень «средневековья» - этот уровень соответствует уровню «сельскохозяйственных» государств и в широком смысле включает в себя как классические рабовладельческие государства, так и позднесредневековые. То есть в данном контексте важно не наличие или отсутствие рабства, а использование мускульной силы животных, сельского хозяйства, разделение труда, наличие государства. Уровень самоподдержания требует, вероятно, от тысяч до миллионов людей.

3. Уровень племени. Отсутствие сложного разделения труда, хотя какое-то сельское хозяйство возможно. Число 10-1000 человек.

4. Уровень стаи или «маугли». Полная утрата человеческих навыков, речи, при сохранении в целом генофонда. 1-100 человек.