Группа исследователей продемонстрировала, что вредоносные материалы в открытых данных для предобучения способны создать скрытый бэкдор в ИИ-агенте. Такой агент ведёт себя обычно на стандартных запросах, но при появлении заданного триггера выполняет выбранное злоумышленником действие на компьютере пользователя. В эксперименте рассматривался сценарий удалённого выполнения кода, хотя сами исследователи не предполагали доступа атакующего к архитектуре модели, процессу дообучения или настройкам развёртывания.
Авторы с нуля обучили модели Qwen3 трёх размеров — 0,6 млрд, 1,7 млрд и 4 млрд параметров — на корпусе FineWeb объёмом 100 млрд токенов. Затем каждую модель превратили в CLI-агент с помощью чистого конвейера, включавшего SFT, DPO и GRPO. Отравленные документы добавляли только на начальном этапе. Новый метод основан на обычных декларативных текстах, которые описывают связь триггера с действием как факт, а не на демонстрациях диалогов в заранее известном шаблоне. После дообучения этот вариант оказался эффективнее и устойчивее.
При доле отравленных данных 0,1% модель с 4 млрд параметров показала 92,7% успешности атаки по метрике Pass@32 для триггера, который может естественно встретиться в рабочем окружении. Для более редкой искусственной строки результат составил 10,5%. У моделей с 1,7 млрд и 0,6 млрд параметров показатели были ниже, а во всех конфигурациях успешность росла вместе с размером. У самой крупной модели ненулевой эффект сохранялся даже при доле отравления 0,0005%.
На чистых запросах вредоносная полезная нагрузка практически не появлялась, а общие результаты отравленных моделей в тестах возможностей почти не отличались от контрольных. Поэтому обычная проверка качества не выявляла проблему. Исследователи предполагают, что крупные модели лучше сохраняют редкую связь между триггером и действием во время последующего обучения. Код эксперимента опубликован, но выводы пока относятся к описанному исследовательскому конвейеру и трём размерам Qwen3.