Дэвид Холл из Open Athena утверждает: революция языковых моделей во многом стала возможной благодаря уже существующему открытому корпусу текстов. Wikipedia, Project Gutenberg, Internet Archive, ArXiv, Stack Exchange и открытый исходный код десятилетиями создавались не ради обучения ИИ. Common Crawl с 2007 года архивирует значительную часть интернета и сейчас хранит порядка 10 петабайт данных. Около 60% обучающей смеси GPT-3 было получено из Common Crawl, а исходная смесь Llama почти целиком состояла из материалов интернет-коммонс.
С дообучением ситуация иная, особенно когда речь идёт об агентных моделях. Предобучение потребляет документы, а обучение с подкреплением — задачи. Для каждой нужно сохранить окружение, намерение, инструменты и проверяющий результат grader. Человеческая работа обычно привязана к меняющемуся контексту и не повторяется в исходном виде, поэтому просто собрать готовые примеры, подобные веб-страницам, нельзя.
Программная разработка ближе всего к нужному формату. Системы контроля версий сохраняют историю, тесты описывают проверки, а контейнеры позволяют восстановить окружение. Однако превращение репозиториев в задачи всё равно напоминает производство данных, а не очистку текста. При создании исходного SWE-bench из более чем 90 тысяч pull request только 11 407 удалось связать с issue и изменениями тестов. Примерно 80% оставшихся не получилось сделать исполняемыми, и в итоговый набор вошли 2 294 задачи.
Для SWE-bench Verified OpenAI привлекла 93 опытных Python-разработчика к проверке 1 699 заданий. Более двух третей пометили на удаление, а из итоговых 500 поздний аудит снова нашёл примерно шестую часть неисправных. В других проверках более 90% преобразованных Java-задач отбраковали при ремонте, а 98% исследованных Python-проверок даже не запускали тесты из-за зависимостей. Аудит Vals также обнаружил в двух третях из 2 698 сред MiMo v2.6 эталонные исправления, доступные через Git.
Холл делает из этого вывод, что открытое сообщество должно целенаправленно создавать общий фонд задач, сред и проверок. Иначе данные для дообучения останутся частным активом крупных лабораторий, которые платят специалистам за формализацию их работы. По мнению автора, открытый коммонс дал бы университетам, некоммерческим организациям и независимым исследователям возможность развивать направления, не интересные таким компаниям.