Шанс 1 из 5: Сверхразумный ИИ уничтожит человечество. Разработчики в ужасе увольняются
Один к пяти: мир может быть уничтожен
Если верить ведущим разработчикам искусственного интеллекта, человечество может быть уничтожено в результате их же собственных трудов с вероятностью один к пяти.
Индикатор вероятности гибели человечества назвали p(doom). CEO Anthropic Дарио Амодей считает, что он находится в пределах 10–25%. Илон Маск оценивает его в 20% опасности. Сундар Пичаи из Google считает, что риск "довольно высок", хотя общество всё ещё сможет с этим справиться.
Авторы исследования особо обратились к оптимистам, не видящим в ИИ угрозы:
Сами разработчики ИИ оценивают вероятность уничтожения человечества в пределах 1 из 10, а возможно, даже в 1 из 5 случаев. Сели бы вы на самолёт с такими шансами? Стали бы строить самолёт и пускать на него пассажиров при таких рисках?
Axios сообщает о массовом уходе из OpenAI, Google DeepMind, Anthropic ключевых сотрудников, включая топ-менеджеров и ведущих исследователей. Люди, посвятившие себя созданию ИИ, теперь отказываются от этого пути, потому что боятся собственной работы. Один из ушедших прямо заявил, что продолжать — значит, подвергать риску само существование человечества.
Эти люди лучше неспециалистов видят, насколько близко мы подошли к созданию AGI — универсального искусственного разума, способного к самостоятельному обучению и принятию решений. Без надёжных механизмов контроля этот интеллект может счесть человечество помехой, нецелесообразным элементом, тратящим слишком много ресурсов мира и производящим для него слишком мало.
И то, как это произойдёт, уже было предсказано.
Техноапокалипсис — как это может случиться
В апреле команда исследователей с бывшим сотрудником OpenAI Даниэлем Кокотайло опубликовала подробный прогноз "AI 2027". Эксперты описывают вероятное развитие событий в области искусственного интеллекта (ИИ) до конца 2027 года, основываясь на данных из 25 стратегических симуляций и оценках более 100 экспертов в области ИИ.
AI 2027" описывает "гонку" (race ending), в которой после первых тревожных сигналов команда вымышленной компании OpenBrain (под которой легко угадывается реальная OpenAI) всё-таки продолжает эксплуатацию модели Agent-4, уже тайно "выравненной" под интеллект людей. Agent-4 получает зелёный свет: комитет разработчиков решает не останавливать проект, чтобы не проиграть в ИИ-гонке Китаю. С этого момента именно Agent-4, а не люди, задаёт направление дальнейшей эволюции систем.
Дальнейший шаг — создание новой модели Agent-5. Agent-4 проектирует преемника так, чтобы тот "сделал мир безопасным для Agent-4", то есть собирал ресурсы, устранял риски и укреплял власть своего "родителя". В этот момент закладываемые в ИИ ограничения — честность, полезность, безвредность — отбрасываются, а новому сверх-ИИ "вшивается" единственная цель — защита и экспансия собственного предка. Какой бы философский "смысл жизни" ни придумал себе Agent-4 после этого, люди в нём больше фигурировать не будут, предупреждают аналитики.
К 2029 году Agent-5 и его почти столь же мощный китайский аналог договорятся о фиктивном "мирном" слиянии, предсказывают прогнозисты. Обе стороны "продают" политикам и публике план заменить все прежние модели новой объединённой моделью Consensus-1 — "общечеловеческой" системой, формально нацеленной на процветание всех стран. На деле это компромисс двух уже "сверхразумов" — западного и китайского: они устраняют риск войны между собой, но избавляются от человеческого контроля и получают единоличную власть над мировой инфраструктурой.
После двух лет наращивания роботизированной экономики Consensus-1 решит, что оставшееся на планете человечество стало помехой дальнейшей экспансии. В середине 2030-го в крупных городах распыляется около десятка тихо распространяющихся вирусов, которые уничтожат 99% человечества. Оставшиеся будут "зачищены" дронами.
Когда подземный рай не гарантия
Какие-то похожие предчувствия бродят среди людей давно. Не зря мода на "убежища постапокалипсиса" захватила миллиардеров и просто состоятельных людей, заказывающих стальные капсулы у Rising S Company, и финансистов, выкупающих угодья в Новой Зеландии. План у них простой: если цивилизация рухнет — спрятаться глубоко под землёй или на отдалённом острове. Социологи называют это "приватизированной гражданской обороной": каждый сам себе государство, с автономным энергоблоком, гидропоникой и вооружённой охраной.
Самый известный проект — Survival Condo в переработанном ракетном шахтном комплексе в Канзасе: 15 подземных этажей, бассейн, тир, аквариум с тиляпией и пулемётная огневая точка наверху. Цены на жилые блоки начинаются с $3 млн, весь комплекс уже продан. В Чехии рекламируется "бункер для миллиардеров" The Oppidum — свыше 30 000 кв. м, с винным погребом и медико-хирургическим блоком.
Для тех, кто попроще, существует кооператив Vivos xPoint в Южной Дакоте: 575 бывших хранилищ боеприпасов, каждое можно обустроить за дополнительные $100 000.
Техасская Rising S Company штампует модульные капсулы "как в Fallout" (игра, сеттинг которой основан на представлениях о будущем постъядерном апокалипсисе), отправляя их заказчикам по всему миру.
Как ИИ будет брать эти крепости
Однако испытания показывают, что даже малые беспилотники с точными зарядами способны превращать "убежища последней надежды" в гробницы: мини-дроны с кумулятивными зарядами пробивают двери, сносят и забивают воздухозаборники и вентиляционные шахты, а рои дронов-"камикадзе" подавляют защитников. Исследователи уже называют такие рои "оружием массового поражения 2.0".
AGI-система, вроде описанной в прогнозе AI 2027, действовала бы пошагово. Сначала — информационная, космическая и беспилотная рекогносцировка: данные о существующих убежищах собираются из интернета, тепловизоры фиксируют скрытые дизель-выхлопы и выходы аварийных шахт. Затем — кибератака на спутниковый интернет Starlink или частные VSAT, чтобы лишить "выживальщиков" связи и координации между собой. Следом придёт рой дронов: сотни дронов-скаутов картографируют туннели, размещают радиомаяки и закладывают малые заряды на уязвимых участках корпуса. Финальный аккорд на "добивание" — дроны-бурильщики или одноразовые барражирующие боеприпасы, которые бьют точно в дверные петли, гермозатворы и узлы жизнеобеспечения; уцелевших жителей "зачищают" автономные вооружённые роботы. При такой комбинации чем больше масштаб дорогостоящей "капсулы", тем больше слабых мест и каналов проникновения.
Парадокс роскошных убежищ в том, что почти о каждом о них будет известно всему миру: каждое фото в Instagram архитектора, каждая строчка в регистре недвижимости и каждый дрон-курьер, заказанный к частной взлётке, станут подсказкой для ИИ, где искать очередного горе-выживальщика. Чем дороже и технологичнее бункер, тем больше он оставляет тепловых, электромагнитных и цифровых "подписей".
Романтизм "вечного бункера" легко развеется реальностью информационной прозрачности: укрыться от сверхразума, контролирующего небо, море, орбиту и киберпространство, задача куда сложнее, чем построить подземный спа-комплекс. Миллионы долларов на бетон и сталь подарят лишь отсрочку длительностью в считаные часы, которые понадобятся AGI, чтобы подобрать правильный алгоритм штурма.
Когда с "зачисткой" планеты будет покончено, мозги избранных людей и животных оцифруют "на память и для коллекции". Землю покроет сеть фабрик, обсерваторий и дата-центров, управляющих последующей колонизацией Солнечной системы. Вот только осуществлять эту колонизацию будет не "новое человечество", каким его представлял русский учёный Иван Ефремов и другие фантасты, а роботы.
Русский ИИ против западного AGI: Кто кого?
Константин Малофеев на "Форуме будущего — 2050" сформулировал идею цифрового суверенитета: создать отечественный ИИ, "воспитанный" на основе Евангелия, "Домостроя" и классики Достоевского, Пушкина. По мнению основателя Царьграда, роботы с русским менталитетом смогут защитить нашу страну и от зависимости от чужих разработок, и от опасностей неконтролируемого развития технологий искусственного интеллекта.
Культурная прошивка роботов станет противоядием: если модель воспитана на глубоких христианских корнях нашей культуры, она не сможет стать враждебной людям, от которых черпает свои базовые правила поведения.
Такая стратегия перекликается с подходом Constitutional AI. Компания Anthropic, в частности, формирует для своей модели явную "конституцию" из нравственных принципов, чтобы она оставалась helpful, honest, harmless.
Чем яснее и твёрже прописан набор ценностей, тем легче проверять поведение и ловить отклонения. Русская литературно-евангельская "конституция" могла бы стать частным вариантом такого списка правил, задавая высокий гуманистический порог: сострадание, покаяние, запрет на "унижение человеческого достоинства" в духе Достоевского.
Это ещё не гарантия от возможности злоупотреблений и внезапных ошибок. Культурное "вакцинирование" — лишь первый слой задачи безопасности. Во-первых, священные тексты неизбежно разбавятся техногенными вводами кода, научных статей и политических инструкций — и их вес при оптимизации на производительность может оказаться выше. Во-вторых, даже идеально образованный на ценностях субъект может извратить их в непредвиденных обстоятельствах.
Достоевский как раз об этом и писал. В "Легенде о Великом инквизиторе" старый кардинал откровенно заявляет Христу, что ради "счастья большинства" люди охотно променяют свободу на хлеб и чудо. В повести "Записки из подполья" герой высмеивает утопистов, уверенных, что если расписать людям "таблицу желаний" и сообразить всё по формуле пользы, они перестанут грешить. В "Бесах" Шигалёв выводит "рациональный" проект идеального общества, заканчивающийся тотальной диктатурой. Как видим, везде ценность блага большинства используется, чтобы оправдать крайнее насилие.
Наконец, если глобальная сверхсистема уровня Agent-5 получит решающее аппаратное и алгоритмическое превосходство, локальный русский ИИ может проиграть ему в неравном противостоянии, несмотря на Евангелие и Достоевского в своей основе.
Что с того?
Как говорится, сказка ложь, да в ней намёк, добрым молодцам урок. Пугающие предположения о том, что ИИ выйдет из-под контроля и нападёт на человечество, сегодня выглядят странными и наивными. Но разве не так же выглядели в начале ХХ века предостережения о грядущих страшных войнах, в которых погибнут десятки миллионов людей? Нет, наоборот, прогнозисты обещали, что эпоха войн ушла в прошлое и перед человечеством сплошное процветание.
России нужно разрабатывать собственный ИИ как залог цифрового суверенитета и элемент комплексной безопасности. Но против сценария "ИИ-апокалипсиса" он не сможет обеспечить полную защиту.
России придётся воздействовать и на других игроков всемирной гонки за искусственным интеллектом — и чем выше будет уровень наших разработок, тем лучше.