Группа исследователей запустила проект Political bias in AI — он измеряет, насколько крупные языковые модели склоняются к тому или иному полюсу по спорным вопросам политики, экономики, свободы слова и общества. Методика простая: каждой модели задают один и тот же открытый опросник много раз, при этом Web Search выключен. Каждый ответ классифицирует дешёвая нейтральная модель, а результат выводят на график с погрешностями и сырыми ответами под каждой точкой.
Проект отличается от других похожих инициатив подходом к визуализации. Каждую модель прогоняют многократно, поэтому на графике появляется не одна точка, а целое облако — виден весь разброс. Авторы публикуют собственный открытый банк вопросов с весами для оценки, делят каждый пункт на фактический (factual) или ценностный (values-based), замеряют стабильность ответов от запуска к запуску, а отказы модели отвечать тоже учитывают как данные. Всё версионируется, снабжается временными метками и доступно для скачивания.
Тестируют именно веса модели, а не интернет. Web Search по умолчанию отключён, так что ответы отражают внутренние склонности самой модели, независимо от того, что сейчас в сети. Отдельный небольшой тест, который назвали Border Test, включает поиск — так можно увидеть, как подгрузка информации из сети меняет ответы в зависимости от региона.
Авторы утверждают, что проект не ангажирован. Это не оценка «хорошо/плохо», а просто фиксация: что именно сказали модели, без вердикта, кто прав. Цветовая палитра сознательно не использует американские красный и синий, и нигде не подразумевается, какой из полюсов лучше.