Разработчики Memdoor воспроизвели мультиагентный метод GVS5H для решения задач программирования. В процессе участвуют пять ролей на базе Qwen3.8-27B: планировщик, два независимых генератора идей, исполнитель и менеджер, а также отдельный агент исправлений. Каждый начинает с чистого контекста и обменивается результатами только через файлы. Итог определяет не модель, а shell-скрипт, проверяющий программу на тестах.
На первых десяти задачах LiveCodeBench Hard воркфлоу прошёл пять прогонов и решил в среднем 9,8 задачи из 10. Исходный многоагентный harness авторов показал 9,6, одиночный Fable 5 — 8,0. Всего в 49 из 50 прогонов Memdoor получил верное решение. Опубликованы запросы, ответы, программы и результаты проверок. Стоимость 50 учтённых запусков составила $35,79 при 15,3 миллиона выходных токенов; медианное модельное время одного запуска — 40 минут, стоимость — $0,39.
Для сопоставимости использовались исходные промпты, лимит ответа 128K, параметры генерации и цикл до десяти раундов. Отличия касались инфраструктуры: вместо собственного vLLM авторов запросы шли через OpenRouter к нескольким провайдерам. Fable 5 не запускали внутри Memdoor, а взяли результаты из файлов исходного исследования.
Авторы подчёркивают ограничения эксперимента. Проверены только десять задач вместо ста в оригинальной работе, а соревнования датируются мартом и апрелём 2025 года. Модель могла видеть их при обучении, поэтому контаминацию исключить нельзя. Кроме того, точность вычислений у Modal не опубликована.
Ошибки показали слабые места управления командой. В одном случае менеджер придумал неверный контрпример, и исправная программа была заменена ошибочной. В других поздние раунды перезаписывали решения, уже прошедшие скрытые тесты. Авторы предлагают проверять контрпримеры перебором и сохранять последнюю версию, прошедшую примеры, но эти исправления в опубликованные результаты текущего эксперимента не входят.