В начале 2026 года разработчик набрал почти 10 тысяч человеческих текстов (с платформ вроде форумов, статьи до 2022 года) и сгенерировал столько же через семь разных LLM, включая gemini-3-pro, qwen-coder-plus, glm-5, deepseek-v3.2 и другие. Он обучил семь бинарных классификаторов на основе scikit-learn — взял TF-IDF и LinearSVC. На уровне отдельных предложений точность составила около 85%. Для целого текста этого хватило, чтобы уверенно определять AI-сгенерированный контент.
Детектор работает по принципу голосования: если хотя бы две из семи моделей помечают предложение как машинное, оно считается подозрительным. Итоговый скор — доля таких символов. Веб-демку автор завернул прямо в браузер на JavaScript, без серверной части: SVM и TF-IDF работают локально, модель весит 107 МБ (38 МБ в gzip). Обработка миллиона символов занимает около 10 секунд.
Автор протестировал детектор на незнакомых моделях, которых не было в обучении: Claude Sonnet 4.6 (71.9%), GPT 5.2 (73.3%). Другие модели вроде MiMo-V2 и Doubao-Seed-2.0 тоже уверенно ловились — у многих скор превышал 90%. Человеческие тексты прошли с результатом ниже 30%. В массовом тесте на 10 тысячах фанфиков с Lofter (до 2022 года) частота ложных срабатываний при пороге 60% составила 0.04%, а при 70% — меньше 0.01%. При этом 32% популярных статей из текущих трендов Lofter набрали больше 50% — и ни одна не была помечена как AI. Попытки обмануть детектор переводом туда-сюда или промптами «перепиши, чтобы не пахло AI» почти не сработали: скор падал на пару процентов, но оставался высоким.
В итоге автор приходит к неутешительному выводу: LLM-тексты настолько предсказуемы на уровне статистики слов, что ловить их может даже простой классификатор, а настоящую креативность он в них не видит — только перекомбинацию тренировочных данных.