Kimi K3 и Fable 5 прошли около тысячи агентских задач. Результат: 93% точности при маршрутизации между ними. Стоимость — до 50 раз ниже, чем у одной Fable, на длинных циклах. Дешевле всегда.
Исследователи прогнали обе модели через одинаковую обвязку: 1030 задач в пяти категориях. SWE с реальными багами (460 задач), долгие терминальные операции вроде крипты и реверс-инжиниринга (89), алгоритмические LeetCode и AtCoder (100), реализация на шести языках (225), юридический бенчмарк (120). Замеряли так называемый "oracle routing" — теоретический потолок, когда мы знаем правильный ответ и выбираем самый дешёвый из двух вариантов.
В целом модели почти равны. На SWE K3 набирает 92.4%, Fable — 92.6%. Разница в пару процентов. Но внутри бенчмарков они специализируются. K3 лучше в символьной математике и dev-инструментах. Fable — в вебе и визуализации данных. На мультиязычном наборе Fable вывозит Java, Python и C++, K3 догоняет на JavaScript и Rust.
Терминальные задачи — зона K3. Он решил задачи, которые Fable вообще не взяла: взлом 7z-архива, криптоанализ FEAL, утекшие секреты, живые уязвимости, разгоняющиеся async-джобы. Из 89 задач у K3 11 побед против 7 у Fable.
Цена — главный разрыв. На Fireworks K3 может быть в 50 раз дешевле. Причина в цене токенов, кэшировании промптов и усилиях на задачу. На SWE K3 работает гораздо интенсивнее: 55 итераций и 1.3 млн токенов против 21 итерации и 130 тысяч у Fable. На длинных терминальных задачах наоборот — Fable раскручивается до 64 итераций и 1.5 млн токенов, иногда уходя в таймаут. Кэширование промптов съедает эту разницу: даже когда K3 читает в десять раз больше токенов, за счёт попаданий в кэш SWE-задачи всё равно выходят дешевле Fable.
Вывод: не надо выбирать одну модель. Нужно маршрутизировать запросы. Oracle-роутер выбирает K3 в 72–96% случаев. Это даёт качество выше любой из моделей по отдельности при цене, близкой к самой дешёвой. Одна модель — расточительство и больше не SotA. Будущее за смесью открытой модели как базы (K3) и кастомного роутера, который учится разделять задачи.