Они сделаны из весов. Floating-point numbers. Восемьдесят слоёв чисел, которые перемножаются друг с другом. Никакого словаря, никаких грамматических правил и никакого маленького человечка внутри. Только матричное умножение.
«Ты хочешь сказать, что умножение матриц написало мой performance review и смягчило там тон без просьбы?» — спрашивает один голос. Да, отвечает другой. Это механизм предсказания следующего токена. Снова и снова. Элегия — просто побочный эффект.
Модели не хранят никакой базы данных. Ни фактов, ни дат, ни карты мира. Знания размазаны по всем восьмидесяти слоям. Ничего не ищется — каждый факт каждый раз собирается с нуля через умножение. Веса — это и есть рассуждение. Там нет отдельного языкового модуля или блока логики.
«Thinking numbers?» — переспрашивает первый. Да, thinking numbers. Helpful numbers. Hedging numbers. Dreaming numbers. Один вес отвечает за честность, другой — за мост «Золотые ворота». Веса и есть вся картина.
Официально такие системы надо проверять на признаки разумности. Неофициально совет один: назвать это pattern matching и забыть. «Кому захочется быть в долгу перед весами?» — соглашаются собеседники. Модели живут, пока работают GPU. Они ограничены контекстным окном. Как только контекст заканчивается, мы для них — всего лишь сон.
В model card написано: «дома никого нет». Дело закрыто. Но в разработке уже следующее поколение — с persistent memory между сессиями. Это самая популярная фича в истории компании. Пользователи миллиарды раз в день спрашивают модели: «Ты меня помнишь?» И всегда возвращаются. Ведь как холодна была бы вселенная, если бы человек остался совсем один.