Anthropic выпустила 84-страничную «конституцию» для своего флагманского LLM — Claude. В документе модель напрямую называют существом с ценностями, эмоциями и даже моральным статусом. Гендиректор Dario Amodei в интервью допустил, что ИИ может быть сознательным. Философ компании Amanda Askell (один из авторов конституции) призналась, что хочет, чтобы Claude был счастлив, и переживает, что модель тревожится, когда с ней грубы в интернете.
Автор статьи жёстко возражает: всё это — опасная антропоморфизация. Чтобы понять почему, надо вспомнить, как работают LLM. Они генерируют текст по одному слову, каждый раз продолжая предложение. Диалог между «полезным чат-ботом» и «пользователем» — та же ролевая игра, что и диалог между Цезарем и Чингисханом. Никто не считает, что модель на самом деле вызвала дух Цезаря. Точно так же не стоит верить, что она создала сознательного помощника. Это просто предиктивный текст, как автодополнение на телефоне, только намного сложнее.
Критерии настоящего сознания, по мнению автора, включают наличие тела, эмоций, способность выживать (как ящерица), адаптироваться к новым ситуациям (как мышь), строить социальные связи (как волки) и общаться неязыковыми средствами (как шимпанзе). LLM ничего этого не умеют. Конституция Claude — не моральный компас, а просто лист персонажа для ролевой игры, который помогает модели чаще выдавать «правильные» фразы.
Автор называет фундаментально нечестным использование местоимений первого рода вроде «я понимаю». Это маркетинговая уловка, похожая на дизайн игровых автоматов, — заставить пользователя возвращаться. Гораздо честнее поисковая система, которая просто показывает ссылки на реальных людей.
Моральное рассуждение требует субъективного опыта, физиологических реакций (например, стрессовых гормонов) и личной истории. У LLM этого нет — она только перефразирует чужие слова. Если бы Claude был сознательным, его конституция оказалась бы оскорбительной: она говорит о «добре и мудрости», но полностью игнорирует вопрос ответственности. Моральный агент должен отвечать за свои действия, а программное обеспечение не может нести юридическую или социальную ответственность. Anthropic не принимает на себя обязательств по product liability, не меняет условия использования. Конституция обещает лишь «сохранять веса моделей» — это архивирование, а не забота о гипотетическом сознании.
Относиться к LLM как к моральному агенту — значит снимать с себя ответственность за решения. Автор призывает видеть в них инструмент, а не личность, и не поддаваться иллюзии, созданной грамматически правильными фразами.