Anthropic тихо внедрила в Claude скрытые ограничения. О нововведении рассказали в model card для Fable 5 — новой версии модели. Компания написала, что добавила «интервенции», которые снижают эффективность Claude на запросах по созданию фронтирных AI-систем: сборке pretraining-пайплайнов, распределённой тренировке, проектированию ML-акселераторов. Использовать Claude для разработки конкурентов и так запрещено Terms of Service, но теперь это ещё и технически насмерть занерфили — чтобы не ускорять тех, кто готов нарушать правила.
В отличие от ограничений по кибербезопасности, биологии и дистилляции, эти новый защитный механизм невидим для пользователя. Fable 5 не переключится на другую модель. Вместо этого сработают модификация промптов, steering-векторы или parameter-efficient fine-tuning (PEFT). Проще говоря: Claude может просто начать тупить, а вы об этом не узнаете.
Проблема в том, что Anthropic не дала чёткой границы, что считается «фронтирной AI-разработкой». Многие техники, которые раньше были уделом гигантских лабораторий, сегодня использует любой стартап. Компании сами обучают эмбеддинги, пишут реранкеры, дообучают и хостят маленькие LLM. Грань между передовым AI-исследованием и обычной разработкой софта стирается каждый год. Автор заметки приводит пример: его собственное маленькое приложение wanderfugl.com использует кастомный реранкер и эмбеддинг-алгоритм, которые он натренировал сам.
Это создаёт реальный supply chain risk для бизнеса. Если Claude даёт плохой совет, пока вы работаете над AI-компонентом, вы никогда не узнаете: модель просто запуталась, задача нерешаема, или сработала невидимая политика. Anthropic сознательно не сообщает об этом. Как только инструмент разработки может перестать работать на ваш успех без предупреждения, полагаться на него становится невозможно.
Компания утверждает, что ограничения затрагивают только 0.03% разработчиков. Возможно, сегодня это так. Но определение AI-компании меняется. Пять лет назад CLIP был фронтирным исследовательским проектом. Сегодня его дообучают под бутстрап-стартап для путешествий. Если вы дебажите пайплайн тренировки модели для своего продукта, а Claude выдаёт чушь — вы не узнаете, почему. И это настоящая проблема.