Автор проекта Anubis, который борется со скрейпингом, поделился неожиданными данными. 89% IP-адресов, попавших в его honeypot (приманку для ботов), вообще не числятся ни в каких публичных базах угроз. Это значит, что реальный масштаб проблемы намного больше, чем думали раньше.
Honeypot работает просто: на каждой странице вызова Anubis прячет невидимую для людей ссылку со специальным UUID. Плохо написанный скрейпер-робот ведётся на неё, кликает и попадает в ловушку. Так автор собрал статистику за последние месяцы: 2,67 миллиона уникальных IP. Из них лишь 10,7% (286 тысяч) уже были в чёрных списках. Остальные 2,39 миллиона — «чистые» с точки зрения известных баз.
Среди помеченных адресов 98,6% имеют флаг abuse. Провайдер netshield лидирует с 83,2% «грязных» адресов, за ним идут bitwire (33,7%) и magicteamc (9,3%). В списке провайдеров также фигурируют aws, scaleway, ovhcloud и alibaba-cloud, но их доли малы. В разрезе стран антилидеры — Бангладеш (29,9% IP помечены), Украина (27,6%), Ирак (21,9%), Венесуэла (21,3%) и Пакистан (20%). В топе по числу IP также Бразилия, Индия и Саудовская Аравия, но там доля помеченных невысокая. Среди сетей (ASN) — у Space Exploration Technologies Corporation (Starlink) 14,6% IP в чёрном списке, у Uzbektelekom — 14,1%.
Главная гипотеза автора: подавляющее большинство этого трафика идёт не от ручных злоумышленников, а от взломанных умных устройств — холодильников, камер, роутеров. Их сгоняют в ботнеты и используют как прокси-сети для массового скрейпинга. Вывод простой: никакие локальные блокировки тут не помогут, нужны глобальные скоординированные действия. А honeypot-фича, сделанная «на коленке», отлично себя показала как инструмент сбора разведданных.