В соцсетях разошёлся график, который показывает разрыв между открытыми и закрытыми моделями LLM. Если смотреть на индекс Artificial Analysis Intelligence Index, разрыв стабильно сокращается с лета 2024 года. Экстраполируя тренд, можно получить, что он сойдёт к нулю примерно к 3 декабря 2026 года — через полгода от момента публикации. Звучит как конец цивилизации, можно продавать пенсию и лететь на необитаемый остров.
Но это лишь один бенчмарк, и он не даёт полной картины. Artificial Analysis любезно предоставляет данные по 18 различным метрикам. Автор повторил анализ для каждого из них и собрал всё в один график — коробчатую диаграмму (box plot) по месяцам.
Картина оказалась совсем иной. Средний разрыв по всем 18 датасетам почти не меняется. Линия аппроксимации идёт горизонтально — около 5 месяцев отставания open weight моделей на всём протяжении периода. Основное сокращение разрыва произошло только в одном сегменте — в кодинге. Coding index упал с 15 месяцев отставания до одного-двух. По большинству остальных датасетов разрыв, наоборот, даже немного вырос.
Так что «апокалипсис открытых моделей», скорее всего, отменяется. Всё это лишний раз показывает, как сложно измерить качество LLM. В зависимости от того, какую метрику взять, можно предсказать «сингулярность open source» к Рождеству, а можно утверждать, что открытые модели стабильно отстают на 5 месяцев, и разрыв не сокращается, а растёт.