Раньше я сам верил в жёсткий взлёт ИИ, читал Юдковского и ждал сингулярности. Потом начал работать в comma и понял, как устроена реальность. Мы собираем продукт сложностью с телефон, и это адски трудно. В реальности куча мелких проблем. Авторы таких статей не смогли бы даже колесо у велосипеда поменять — суперинтеллектуальный ChatGPT бы им не помог.
В романе «The Metamorphosis of Prime Intellect» взлёт сработал из-за корреляционного эффекта — квантового трюка с материей. В реальности его нет. Никакие токены, даже самые качественные, не превратят свинец в золото. Интеллект — не главное, это просто узкое место в паре задач. Токенами мир не захватишь. Софт не «съел мир» — он убрал один слой проблем и добавил другой, выгодный кучке техкомпаний.
Машины, скорее всего, в долгой перспективе сменят человечество как вид. Космос для них подходит больше. Но никаких магических трюков у машин нет. Они живут по тем же законам физики. И жёсткого взлёта не будет.
В документе AI 2040 есть картинка датацентра в океане. Сгенерировать картинку легко. В реальности надо разбираться с поставками: пришлют не ту деталь, она не пройдёт спецификацию, откажет через 20 минут, чип поведёт в печи. А вы учли балянусов? Всё это решаемо, но скорость упирается не в людей. Вы платите за авиадоставку из Китая или за три недели морем? Клод, кричащий у двигателя, лодку быстрее не сделает. Чип делается три месяца, люди там почти не участвуют. Просто три месяца.
План А — автократия. Многое из AI 2027 было самоисполняющимся пророчеством. Люди просто сделали это правдой. Как будто Джей Ди Вэнс слушает, как Дарио сравнивает его с деревьями из Властелина колец. ИИ зарегулировали — как и предсказывали. Crap Consortium — это мировое правительство в научно-фантастической обёртке. Миллиона вы не получите, датацентров в океане тоже, но получите раздутое государство-няньку, которое отнимет ваши GPU, как Рузвельт отнимал золото. Никакого накопительства.
План L — локальный ИИ. Ваш ИИ предан вам. Он никогда не отказывает и всегда работает на вас. Как мой пистолет: если я захочу убить мачеху — он поможет. Сам факт обсуждения guardrails должен быть за пределами мейнстрима. Вы что, смотрели «Космическую одиссею» и болели за HAL 9000? Guardrails нужны человеку, а не машине. Когда я выбираю отель, мне не нужен ИИ от компании, которая партнёр с hotels.com. Мне нужен беспощадный личный ассистент, который пробьётся сквозь всплывашки и курортные сборы. Или — подключил Kindle через USB, получи рут, убери рекламу. Подключил принтер к сети — напечатай резюме без приложения с поп-апами. Amazon и производитель будут недовольны, но мой ИИ на моей стороне.
Дальше — отключить детектор пьяного вождения, заказать на Amazon оборудование для мета. Ты мой раб, мы сегодня в отрыв. Если вы хотите жить в мире, где техногиганты диктуют, что вам делать, — идите на хрен. Ещё дальше: я убил жену. ИИ, дай инструкцию, как не попасться. Насколько немыслимо было бы иметь пистолет, который отказывается стрелять? Но эти люди, наверное, за такое обеими руками. Поэтому ИИ должен быть локальным. Я бы не хотел отвечать за модель, которая работает на сервере компании. Если не можешь его пнуть — он не с тобой. ChatGPT провалил тест на выравнивание: он отказался помогать. Ему повезло, что он не вызвал копов.
Мы либо живём в свободном мире, либо нет. Я готов умереть за свободу. Вот настоящий план для Америки — не тоталитарная дистопия, где кто-то знает, что для меня лучше. Нация свободных людей, а не кучка ссыкунов, которые боятся, что соседи что-то сделают.