Натан Ламберт в Interconnects размышляет о дилемме независимой оценки языковых моделей на примере Intelligence Index v5 от Artificial Analysis. Повысить результат модели на известном тесте относительно понятно, гораздо труднее решить, какие способности вообще стоит измерять. Быстрый прогресс заставляет индекс одновременно отражать текущее применение, совпадать с впечатлениями пользователей и не устареть через несколько месяцев.
Новая версия делит вес поровну между четырьмя направлениями. Knowledge Work включает AA-Briefcase, AutomationBench-AA и GDP.pdf; Coding — FrontierCode 2.0 и Terminal-Bench 4.0; Science — Terminal-Bench-Science и сложное подмножество CritPt v2; General — AA-Omniscience v1.1 и HLE-Diamond. Получается единое число, удобное для сравнений и публикаций, но любой способ агрегирования неизбежно отдаёт предпочтение одним задачам перед другими.
Ламберт считает общий рейтинг правдоподобным, хотя отдельные позиции вызывают вопросы. Индекс сильнее ориентирован на универсального agentic-коллаборатора и передний край возможностей. В такой постановке восемь закрытых моделей опережают будущую открытую Kimi K3.1 Pro. Автор не объявляет открытые модели несостоятельными: в программировании они конкурентоспособнее, а их экономическая роль может заключаться в удешевлении массового inference и развёртывании специализированных агентов на внутренних данных компаний. Эти преимущества плохо отражены в индексе.
Причины отставания открытых моделей в научных тестах он видит не только в качестве базовых систем. Для быстрого прогресса по многим направлениям нужны сложные RL-окружения, распределения которых близки к оценкам, и своевременные данные. Не все открытые лаборатории обладают такой инфраструктурой. Лучшие открытые модели уже довольно широки, но всё же покрывают меньше областей, чем ведущие продукты OpenAI и Anthropic.
Переход Artificial Analysis к закрытым prompts и тестовым средам Ламберт считает в целом оправданным против подгонки под бенчмарки. Плата за это — доверие к создателю: сообщество больше не может проверять задания и находить ошибки. Из-за больших денег в отрасли он предпочёл бы прозрачность и независимую проверку.
По его наблюдению, крупные закрытые лаборатории давно ориентируются преимущественно на внутренние исследования и платящих клиентов, тогда как для небольших компаний место в индексах важно для бренда. Выходом могло бы стать разнообразие рейтингов с разными смещениями, включая отдельные coding-бенчмарки.
Последняя дилемма касается доверия к оценщикам. Artificial Analysis зарабатывает на проверке результатов для лабораторий, Arena проводит предрелизное тестирование. Некоммерческим организациям автор больше доверяет в беспристрастности, а специализированным стартапам — в технической точности frontier-оценок. Идеального единственного числа, по его мнению, не существует.