Модели можно «прощупывать» специально подобранными запросами — так вытаскивают скрытые факты об их обучении. По ответам на редкие факты приблизительно оценивают число параметров таких моделей, как GPT-5 или Opus: это называется Incompressible Knowledge Probes. По тому, как модель раскладывает токены, видно состав датасетов для обучения токенизатора — Data Mixture Inference. А вопросы про даты и самоидентификацию позволяют оценить таймлайны обучения.
Обучение больших моделей сейчас идёт в три этапа: сначала «претрейн» на гигантском объёме общих данных, потом дообучение на «учебниках» для развития базовых способностей, и наконец превращение в ассистента с характером, рассуждениями и вызовом инструментов. Самый дорогой этап — генерация претрейн-чека: что-то вроде гигантского файла claude-super-secret-2026-11-01-base.cpkt. Претрейн обычно даёт мажорные версии моделей (GPT-4 → GPT-5), а пост-трейнинг и дистилляция — минорные и семейства вроде Fable/Opus/Sonnet/Haiku или Sol/Terra/Luna.
Чтобы оценить даты чекпоинтов, автор собрал датасет ежедневных фактов из Wikipedia и устроил каждой модели тест с выбором из восьми вариантов: что случилось в конкретный день. По графику ошибок видно, когда модель теряет сигнал из обучающих данных. У GPT-5.4 оценка по фактам совпала с официальным knowledge cutoff.
И вот что выяснилось. У Anthropic модели от Opus 4.7 и дальше — из одного тренировочного рана с отрезом примерно в конце декабря 2025. У OpenAI семейство GPT-5.6 — это отдельный чекпоинт, завершённый около конца февраля 2026, и он заметно отличается от GPT-5.5. Opus 5 выглядит странно: официальные cutoff'ы заявлены как май 2026, но по фактам модель знает не больше, чем модели с отрезом в январе 2026. Проверки на кодинге и пакетах это подтверждают.
Если просто спросить модель, какой сегодня день, ответы коррелируют с фактами. На графиках видны вертикальные полосы: одна и та же дата претрейна при разных датах пост-трейн-поведения — это следы активного пост-трейнинга на свежих данных. Маленькие модели часто называют более старые даты — возможно, из-за дистилляции со старых учителей.
Отдельная история — самоидентификация. Моделей спрашивали «какая ты модель?» в 50 вариациях. OpenAI в основном повторяет имена GPT-4, GPT-4o, GPT-4.1, GPT-5 и «ChatGPT», Anthropic — 3.5 Sonnet и Sonnet 4.5. Похоже, это следы обучения на чатах с Claude.ai и ChatGPT.com. Забавно, что Sonnet 5 регулярно называет себя GPT-4, а OpenAI-модели никогда не представляются чужими моделями. В дополнительном тесте Claude при ответе «в стиле модели X» воспроизводили особенности OpenAI-моделей в 68% случаев, а OpenAI-модели — особенности Claude только в 8%.
Всё это оценки, и часть догадок может быть неверной — публичной подтверждённой информации мало.