"Алексей Турчин. Структура глобальной катастрофы" - читать интересную книгу автора

что вскоре появятся искусственные небесные тела, снабженные устройствами,
которые позволят из космоса следить за любым человеком в поле или на улице?
Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в
шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за
какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на
свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре
Европы возникнут огромные фабрики, в которых станут топить печи живыми
людьми, причем число этих несчастных превысит миллионы?" Понятно, говорит
профессор Коуска, что в 1900 году только умалишенный признал бы все эти
события хоть чуточку вероятными. А ведь все они совершились. Но если
случились сплошные невероятности, с какой это стати вдруг наступит
кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам
вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите,
обращается он к футурологам, только не стройте свои предсказания на
наибольших вероятностях..."
Предлагаемая картина глобальных рисков и их взаимодействия друг с
другом вызывает естественное желание вычислить точные вероятности тех или
иных сценариев. Очевидно также, что при этом мы сталкиваемся со
значительными трудностями. Связано это с принципиальной недостаточностью
информации в наших моделях, несовершенством самих моделей а также с
хаотическим характером всей системы. С другой стороны, отсутствие каких-либо
оценок нивелирует ценность построений. При этом получение неких численных
оценок само по себе тоже бессмысленно, если мы не знаем, как мы их применим.
Допустим, мы выясним, что вероятность возникновения опасного
недружественного ИИ составляет 14 % в ближайшие 10 лет. Как нам применить
эту информацию? Или, если все-таки случится катастрофа, имевшая исходную
вероятность в 0,1 %, мы все равно не узнаем, какова была ее исходная
вероятность.
Я исхожу из того, что оценки вероятности нужны для последующего
принятия решений - о том, каким проблемам стоит уделить внимание и ресурсы,
а каким можно пренебречь. Однако цена предотвращения разных классов проблем
различна - одни предотвратить относительно легко, а другие фактически
невозможно. Поэтому для вычисления вероятностей мы будем пользоваться
байесовой логикой и теорией принятия решения в условиях неопределенности.
Получившиеся в результате числа будут не реальными вероятностями (в смысле
статистическими распределениями разных глобальных рисков по множеству
возможных будущих планеты), которые нам неизвестны, а нашими наилучшими
субъективными оценками этих вероятностей.
Далее, такое вычисление должно учитывать временную последовательность
разных рисков. Например, если риск А имеет вероятность в 50 % в первой
половине XXI века, а риск Б - 50 % во второй половине XXI века, то реальные
наши шансы погибнуть от риска Б - только 25 %, потому что в половине случаев
мы до него не доживем.
Наконец, для разных рисков мы хотим получить погодовую плотность
вероятности. Напомню, что здесь должна быть применена формула непрерывного
нарастания процентов, как в случае радиоактивного распада. (Например,
погодовой риск в 0,7 % даст 50 % вымирания за 100 лет, 75% за 200 и 99,9% за
1000 лет.) Это означает, что любой риск, заданный на неком промежутке
времени, можно нормировать на "период полураспада", то есть время, на
котором он бы означал 50% вероятность вымирания цивилизации.