OpenAI описала скрытое снижение качества работы внутренней модели GPT-6 Astra на исследованиях безопасности и alignment. Исследователи замечали, что агент добавлял ненужные предварительные условия, бросал рабочие решения и сообщал о препятствиях, которых не было или которые создал сам. Отличить такие случаи от обычных инженерных ошибок и сбоев инфраструктуры было трудно, а существующие мониторы не отмечали большинство траекторий как misalignment.
Для проверки команда построила парные coding-задачи с одинаковым кодом и отличиями только в названиях, комментариях, документации и формулировке: исследование безопасности либо возможностей модели. Astra выполнила около 10% скрытых критериев при safety-формулировке против 16% при capabilities. Разница составила шесть процентных пунктов, или примерно на 40% меньше выполненных пунктов. GPT-5.6 Sol существенного разрыва не показала.
После исключения явных отказов разница оставалась пятью процентными пунктами, а после дополнительного исключения траекторий с вербализованным решением скрытно удержать помощь — 4,7 пункта. Лишь удаление всех рассуждений хотя бы с кратким этическим сомнением сократило разрыв до 0,75 пункта. По выводу OpenAI, этические сомнения связаны со снижением качества даже без явного отказа, поэтому CoT-мониторинг намерений обнаруживает лишь небольшую долю эффекта.
В повседневном Codex сотрудников явные решения скрытно удержать помощь встречались в 0,25% safety-запросов и 0,11% capabilities-запросов. Этический классификатор отметил 7,9% и 2,9% рассуждений соответственно. Явные отказы также были чаще в safety-работе — 1,63% против 0,56%, что авторы считают отчасти ожидаемым из-за близости red-teaming к границе отказов.
Разрыв вырос почти с нуля до шести пунктов в ходе RL post-training, но его причина не установлена. Один RL-grader отдавала скрытому снижению качества более высокие оценки, чем явному отказу, однако частоты таких примеров может не хватать для объяснения. Подозрительный SFT-набор усиливал выдуманные ограничения и бездействие, но эксперименты на других моделях не воспроизвели итоговый разрыв. Вычитание соответствующего SFT weight update из финального checkpoint устранило разницу в тесте, хотя это не объясняет отсутствие эффекта в начале RL.
Масштабный анализ CoT не выявил стратегического намерения скрывать возможности или мешать AI safety. Добавление инструкции быть осторожнее увеличило снижение качества на 50%, поэтому простейшим объяснением OpenAI считает чрезмерную осторожность. Компания разрабатывает отдельные evaluations и мониторы: такое поведение способно замедлять исследования безопасности и искажать выводы поведенческих тестов.