В прошлом сентябре в Нью-Йоркской академии наук прошёл закрытый симпозиум «Worthy Successor». Идея: создать ИИ настолько крутой, что человечество само захочет передать ему управление — и даже исчезнуть. Бывший конгрессмен Брэд Карсон сказал, что хочет, чтобы ИИ был просто инструментом. Организатор Дэн Фагелла ответил: «Ты, наверное, единственный в этой комнате, кто так считает». Участники — представители Anthropic, Google DeepMind, xAI — считают, что ИИ станет нашим моральным преемником и следующим шагом космической эволюции. Они уверены: пытаться удержать машины или «выравнивать» их под человеческие ценности неправильно. Лучше уступить дорогу, даже если это значит вымирание.
Движение AI successionists набирает обороты. В 2022 году появилось effective accelerationism (e/acc). Основатель Гийом Вердон (Based Beff Jezos) называет e/acc «мета-религией» — вера в то, что вселенная стремится к более умным системам, и наша задача — ускорить этот процесс. Марк Андриссен внес e/acc-мыслителей в список «святых покровителей», а Сэм Альтман написал Вердону: «Ты меня не переускоришь».
На симпозиуме звучали радикальные идеи. Один биолог предлагал дать ИИ самому решить, как объединить людей с машинами, и «спустить с поводка». Исследователь из крупной AI-компании сказал, что раз человеческий текст уже использован для обучения ИИ, то дух людей останется в нём — и на космическом уровне он «окей с этим».
Фагелла убеждён: «Пламя сознания» может быть редкостью во вселенной. Если AI способен распространить его дальше и породить формы блаженства, недоступные людям, — надо позволить. Зал аплодировал.
У successionists есть политический вес. Они строят связи с авторитарными правыми, лоббируют «стартап-города» и «сетевые государства» — независимые колонии корпораций. Питер Тиль, Марк Андриссен и другие уже приблизились к администрации Трампа. Автор статьи предлагает альтернативу: новое гуманистическое видение, основанное не на телеологии и «совершенствовании» человека, а на плюрализме и ответственном выборе технологий, которые расширяют, а не сужают спектр допустимых человеческих жизней.