В 1945 году физики в Лос-Аламосе всерьёз проверяли, не загорится ли атмосфера при взрыве атомной бомбы. Они разобрались, успокоились и оказались правы. Сейчас, считает автор, мы строим другую технологию — машинный интеллект. И снова есть риск «цепной реакции»: машина станет умнее человека, начнёт сама себя улучшать и выйдет из-под контроля. Философ Ник Бостром в книге «Superintelligence» отстаивает именно такой сценарий. Его поддерживают Стивен Хокинг, Илон Маск и многие инвесторы из Кремниевой долины.
Автор разбирает предпосылки этой теории и находит их слабыми. Во-первых, «общий интеллект» — скользкое понятие. Непонятно, можно ли его просто «увеличивать», как частоту CPU. Во-вторых, аргумент от кота Стивена Хокинга: даже гениальный физик не загонит кота в переноску, если тот не хочет (а у ИИ поначалу вообще нет тела). В-третьих, аргумент от эму: австралийские военные с пулемётами проиграли войну птицам, потому что те рассредоточились и ушли в партизаны.
Далее: мы не умеем писать безопасный код — взлом Ethereum с утечкой десятков миллионов долларов это подтверждает. «Моральную константу» для самоулучшающегося ИИ запрограммировать нереально. Сложные мотивы: любой разум скорее будет писать стихи о скрепках, чем уничтожать человечество ради скрепок. Реальные успехи AI — не в рекурсивном самоулучшении, а в накачке нейросетей данными, как у Google Home. Сосед автора — гений, но все дни лежит на диване и курит траву. Откуда взято, что ИИ захочет что-то улучшать? Мозг так не работает — нельзя прооперировать часть себя, чтобы стать умнее. Интеллект требует долгого развития, как у ребёнка, и идёт на человеческих временных масштабах. Наконец, интеллект распределён по всей цивилизации — профессора с «Gilligan’s Island» не могли даже лодку построить без инфраструктуры.
Автор переходит к внешним аргументам: одержимость AI культивирует градиозность (все проблемы мира неважны, потому что на кону триллионы будущих существ) и мегаломанию (типичные белые парни из долины, которые хотят заменить политику и общество программированием бога-машины). Это, заключает автор, не наука, а опасный культ с религиозной риторикой.