За последние полтора года около трети новых статей на arXiv выглядят как машинный текст. Исследователи проверили 12 750 работ и пришли к чёткому выводу — доля таких препринтов быстро растёт.
В основе работы — собственный детектор, который настраивали особым образом. Чтобы не получить ложное впечатление, авторы взяли статьи за 2021–2022 годы (до ChatGPT) и выставили порог срабатывания так, чтобы только 0,4% из них помечались как машинные. То есть 99,6% настоящего человеческого текста детектор пропускает. И уже на этом фоне смотрели, что происходит дальше. Контрольные годы behaviour как встроенная проверка: если бы детектор врал, показатели 2021 и 2026 были бы одинаковы, но график показывает взлёт сразу после появления ChatGPT.
Доля помеченных работ оставалась на уровне 0,4% в 2021–2022 годах, взлетела через несколько месяцев после запуска ChatGPT и поднялась двумя волнами — до 32% за последний полный квартал, с пиком около 39% в начале 2026 года. Разброс по дисциплинам огромен. Лидирует Computer Science с 65%. Quantitative Biology — 56%, Electrical Engineering — 51%, Economics — 47%. Замыкает Mathematics — всего 0,7%. Но это не обязательно значит, что математики не используют нейросети. Дело в устройстве детектора. Математические статьи полны обозначений и доказательств, а чистого прозаического текста, на котором обучали детектор, там мало. Если математик пишет с помощью модели, её слог может просто не узнать. Так что низкий рейтинг — слабое доказательство того, что работу написал человек. В «прозаичных» полях, наоборот, детектор чувствует себя уверенно, и рост там максимальный.
Ещё важный момент — детектор по-разному чувствителен к разным генераторам, а какую модель и промпт использует автор, авторы исследования не знают. Поэтому реальная доля машинного текста может быть выше измеренной. И последнее: «машинный текст» — это не равно «полностью сгенерировано». Такой результат даёт и тяжёлое редактирование с помощью ИИ.
Попробовать детектор можно бесплатно — по ссылкам в статье.