Исследователь Адриан де Винтер собрал и обучил простую нейросеть на видеоигре Age of Empires II — и на её примере показал, что приписывание большим языковым моделям (LLM) человеческих качеств может быть ошибочным. Его аргумент: если мы соглашаемся, что у LLM есть «мораль», «понимание» или другие антропоморфные атрибуты, то ровно те же свойства можно обнаружить у любого достаточно мощного субстрата — хоть у конструктора LEGO, хоть у Большого Бостона.
Автор не спорит, есть ли у LLM эти атрибуты на самом деле. Он указывает на проблему: такие выводы эмпирически неуникальны. Некоторые характеристики (например, ответы на запросы) могут оставаться постоянными, но интерпретация поведения может меняться в зависимости от субстрата. Поэтому любое обсуждение, претендующее на научную обоснованность, требует чётких критериев измерения — иначе всё сводится к тому, как наблюдатель решил трактовать происходящее.
Винтер доказывает: допущение, что атрибуты существуют (или не существуют) независимо от субстрата и в обобщённом виде, ведёт либо к циркулярным, либо к бессодержательным выводам. Это верно вне зависимости от позиции экспериментатора. В качестве альтернативы он предлагает «нулевую» гипотезу: при планировании эксперимента стоит исходить из не-уникальности LLM, а не из наличия у них человеческих черт. К статье приложены примеры такого подхода.
Вдобавок автор кратко обозревает поле, разбирает возможные возражения и — как вишенку на торте — строго доказывает, что Age of Empires II функционально и тьюринг-полна. Иными словами, она способна симулировать любую вычислимую функцию, что только усиливает его аргумент: если поведение в игре можно трактовать как человекоподобное, то почему мы не делаем того же для LLM — но без дополнительных методологических допущений?