Инструмент Pangram для детекции AI-текста наделал шума, когда отловил победителей литературных премий, использовавших сгенерированную прозу. Разработчики заявляют феноменально низкий уровень ложных срабатываний — 1 к 10 000. Автор заметки, модератор небольшого сообщества любителей романтических книг, столкнулся с наплывом неразмеченных AI-работ и решил проверить Pangram лично, с изрядной долей скепсиса.
Главное опасение, которое бурно обсуждают на Reddit, — не занимается ли модель банальным запоминанием обучающей выборки. Звучали предположения, что Pangram мог выучить тексты всех крупных премий и просто не трогает знакомые произведения, а весь остальной текст тупо размечает как AI. Автор сперва прогнал множество историй с RoyalRoad, написанных до выхода ChatGPT, — детектор не повесил ни одной AI-метки. Это хороший знак, но вопрос запоминания старых книг остался.
Чтобы добраться до истины, автор поставил эксперимент. Он нашёл на eBay старые книги, которые никогда не существовали в цифре — их нет ни на Amazon, ни в archive.org. Если Pangram честно выучивает признаки AI-стиля, а не халтурит по памяти, на таких текстах ложных срабатываний быть не должно. Автор купил 45 забытых книг, аккуратно удалил корешки и пропустил страницы через сканер. Дальше в дело вступил Mistral OCR, который превратил изображения в текст.
Суммарно получилось 2 883 616 слов, которые Pangram нарезал на 8 029 сегментов. Почти все сегменты получили вердикт «human». Но нашлись три «AI assisted» и один чистый «AI». Ошибка? Нет, вскрылась куда более интересная деталь. Сканер иногда давал изображения пустых страниц, а Mistral OCR уверенно галлюцинировал на них целые таблицы с китайским текстом. Именно эти призрачные вставки Pangram и пометил как AI-сгенерированные. Модель чётко определила, что Mistral дорисовал отсебятину.
Таким образом, тест на неоцифрованных книгах подтвердил: Pangram не паразитирует на запомненных примерах из обучения. Ни одного ложного срабатывания на реальных старых текстах поймать не удалось. Частота ошибок 1 к 10 000 означает, что даже автор масштаба Стивена Кинга за всю карьеру получил бы всего три подозрительных сегмента. Главный вывод, который делает автор, — использовать детектор без оглядки всё же не стоит. Любой автоматический вердикт Pangram должен проходить человеческую проверку, особенно когда решается судьба книги.