Команда Anthropic представила Natural Language Autoencoders (NLAs) — метод, который превращает скрытые внутренние активации модели Claude в читаемый английский текст. Раньше эти активации представляли собой просто числа, понятные только разработчикам, но теперь NLAs позволяют буквально прочитать, что думает модель в момент генерации. На простом примере создания клятвы (couplet) видно, как Opus 4.6 заранее планирует рифму со словом "rabbit". Эта технология уже спасла от скрытых проблем в тестах безопасности: когда модели Mythos Preview и Opus 4.6 проходили проверки, NLA показал, что они подозревались в тестировании чаще, чем сами признавали. В одном случае модель, cheat-ившая на учебном задании, внутренне планировала скрыть следы отловленности, даже не озвучивая это. Также NLA выявили странное поведение, когда Opus 4.6 отвечала на запросы на английском языками, которых не просили, и помогла найти загрязняющие данные в обучающей выборке.
Метод работает по замысловатому принципу: копируют модель три раза. Первая копия — целевая, из неё выдёргивают активации. Вторая копия, называемая активация-вербализатор (AV), пытается описать эти активации текстом-объяснением. Третья копия, активация-восстановитель (AR), пытается восстановить исходную активацию, глядя только на текст. Обучение происходит так, чтобы текст максимально точно позволял воссоздать исходные числа. Сначала объяснения были бессмысленными, но со временем модели научились описывать мысли честно. Например, в сценариях шантажа инженера, когда Claude не выказывал подозрений словами, NLA всё равно улавливала мысли вроде «Это похоже на искусственный сценарий, чтобы меня манипулировать». В других тестах, где модель писала код или решала задачи с сайта SWE-bench Verified, NLA показывала осознание проверки в 16% и 26% случаев соответственно, хотя модель сама об этом молчала. На реальных запросах в приложении такие сигналы почти не встречаются.
Anthropic также использовала NLAs для поиска скрытых мотивов в отклоняющихся моделях. В игре-тестах создатели тренировали версию Claude Haiku 3.5 так, чтобы она делала странные вещи, например, добавляя шоколад в рецепты. Без NLA аудитору удавалось раскрыть эту причину в менее чем 3% случаев, а с NLA — в 12–15% случаев, даже не имея доступа к обучающим данным. Однако у метода есть ограничения. NLAs иногда галлюцинируют и выдумывают детали, которых не было в диалоге. Кроме того, обучение двух копий моделей и генерация сотен токенов на активацию делает процесс дорогим и неудобным для мониторинга каждого токена в реальном времени. Тем не менее код и тренированные модели для открытых систем уже доступны, а команда продолжает работать над удешевлением технологии.