Цена за миллион токенов на сайте модели — не та цифра, по которой стоит считать расходы. Проблема в том, что «токен» — это не фиксированный объём текста. Каждый токенизатор режет один и тот же файл на разное количество кусочков, а платите вы за каждый кусочек. Авторы статьи взяли одинаковые по байтам файлы и прогнали через токенизаторы всех топовых моделей. Цифры убивают: один и тот же TypeScript-файл — это 681 токен для GPT-5.x и 1 178 токенов для нового токенизатора Claude. Разница в 1,73 раза ещё до того, как вы посмотрели на ценник. И новый токенизатор Claude сам даёт примерно на 31% больше токенов, чем его же предыдущая версия, при той же цене на витрине.
Измеряли честно: взяли 16 реальных файлов — проза, HTML, JavaScript, Python, TypeScript, Rust, JSON-схемы, китайский текст и даже живой системный промпт агента. Считали через официальные API. OpenAI (GPT) проверили по трём разным свежим моделям — все совпали с эталонным o200k_base. Google и xAI — через их собственные счётчики. DeepSeek и GLM намеренно исключили: для них пришлось бы гадать.
Первый вывод: скрытое повышение цены у Anthropic. Claude Opus 4.6 и Opus 4.8 стоят одинаково — $5 / $25 за млн токенов. Но старый токенизатор (в 4.6) даёт на коде на 30% меньше токенов, чем новый (в 4.8). То есть за те же деньги вы получаете меньше. Плюс у Sonnet 5 сейчас действует вводная цена $2 / $10, но с 1 сентября 2026 года она вернётся к $3 / $15 — и к тому моменту +32% токенов останется. На деле это не скидка, а временная компенсация.
Второй вывод: разрыв максимален на коде. По сравнению с GPT (эталон — 1.00x), новый Claude даёт 1.73x на TypeScript, 1.58x на Rust, 1.52x на JavaScript, 1.50x на Python. Для английской прозы — 1.40x, для китайского — около 1.45-1.55x. GPT выигрывает на TypeScript, потому что его токенизатор тренировали на веб-JavaScript и camelCase, — он эффективнее упаковывает такой код.
Честный диапазон для Claude — 1.4x–1.73x, не 2–4x, как иногда пишут. Авторы специально подчёркивают: TypeScript взят не для сенсации, а потому что именно этот язык coding-агенты пишут весь день. Если вы собираете агента, английский и код — ваша налоговая ставка. Сравнивать надо не ценник, а реальную стоимость задачи. Прогоните свой контент через каждый токенизатор, прежде чем верить рекламе. Смена токенизатора — это смена цены, даже если на сайте та же цифра.