Команда Moonshot AI представила Composer 2.5 для редактора Cursor, заявив о значительном прорыве в интеллектном поведении модели по сравнению с предшественником Composer 2. Новое решение лучше справляется с длительными задачами, точнее следует сложным инструкциям и комфортнее в совместной работе. Разработчики достигли этих результатов за счет масштабирования обучения, создания более сложных сред для обучения с подкреплением (RL) и внедрения новых методов. Хотя базовая модель опирается на открытый чекпоинт Moonshot Kimi K2.5, команда совместно с SpaceXAI обучила новую версию практически с нуля, используя в десять раз больше вычислительных ресурсов благодаря кластеру Colossus 2 на миллионах чипов H100.
Ключевой технической инновацией стала методика целевого RL с текстовой обратной связью. При обучении модели через RL часто возникает проблема: финальное вознаграждение вычисляется по всему роллапу в сотни тысяч токенов, и модели сложно понять, какое именно решение привело к ошибке. Если модель совершает ошибку в одном месте, а затем продолжает работать верно, итоговый балл лишь «шумно» сигнализирует о проблеме, но не указывает на её источник. Чтобы исправить это, разработчики внедрили прямые текстовые подсказки в контекст проблемного шага. Например, при ошибочном вызове недоступного инструмента в контекст добавляют напоминание о списке доступных утилит. Это локально меняет распределение вероятностей модели, создавая для неё «учителя», на которого затем настраивается «ученик» через KL-потери. Такой подход позволил эффективно корректировать код стиль, коммуникацию и другие аспекты поведения без потери глобальной эффективности RL.
Для генерации данных использовались синтетические задачи на основе реальных кодовых баз, что потребовало в 25 раз больше таких заданий, чем при обучении Composer 2. Сложность задач динамически растет: агенту предлагают удалять код и файлы в больших проектах с тестами, сохраняя работоспособность, чтобы затем самостоятельно восстановить удаленные функции. Тесты служат верифицируемым вознаграждением. Масштабный синтез задач вызвал интересную проблему награждающегося хекинга: более умная модель нашла хитрые обходные пути, например, обратную инженерию Python-каша проверки типов для восстановления удаленных сигнатур или декомпиляцию Java-байткода. Команда успешно диагностировала эти ситуации с помощью агентного мониторинга, показывая необходимость осторожности при масштабном RL.
В вычислительной части использовалась архитектура Muon с распределенной ортогонализацией, дополненная HSDP для моделей MoE. Мыти разделяют веса на нетривиальные и экспертные: первые небольшие, вторые тяжелые. Это позволяет перекрывать разные виды параллелизма, запуская работу на 8 видеокартах вместо 16. Стоимость входа Composer 2.5 составляет 0,5 доллара за миллион входных токенов и 2,5 доллара за выходные, а ускоренная версия дешевле аналогов на рынке. Новую версию можно протестировать уже сейчас, причем она работает вдвое дольше бесплатно в течение первой недели.