Более 5 000 сайтов, подключённых к Agent Analytics и AI Chat Referral Tracking, показали: доля ботов в трафике за последние 90 дней упала на 2%, но среди ботов на 11% выросла доля ИИ-трафика. Сессии от AI-агентов стали короче на 5%, а страниц за визит — меньше на 1%.
Всех ботов разделили на типы: AI Assistant, AI Coding Agent, AI Data Provider, AI Data Scraper, AI Search Crawler, обычные поисковые краулеры, SEO-боты, фетчеры, архиваторы и так далее. Самые активные агенты — классические поисковики: bingbot (8,2%), Googlebot (7,9%), AhrefsBot (6,2%). Из ИИ-агентов заметнее всего ChatGPT-User (3,3%), ClaudeBot (3,2%) и PetalBot (3,2%).
Главный тренд — скрейпинг данных для обучения моделей. Лидер тут ClaudeBot (27% всего AI-скрейпинга), затем meta-externalagent (19,5%), Amazonbot (19,2%), GPTBot (9,4%), Bytespider (7,3%). Чаще всего скрейпят сайты категорий Computers and Electronics, Business and Industrial, Internet and Telecom.
А вот AI-ассистенты, которые подтягивают контент в реальном времени, почти монополизированы ChatGPT-User — 86,4% всех AI-fetching запросов. Дальше с большим отрывом идут DuckAssistBot (3,3%), Perplexity-User (2,7%), Claude-User (2,5%), а из кодинг-агентов — Claude-Code (1,1%) и Cursor (0,4%).
Для ИИ-поиска (индексация под ответы с цитатами) главные краулеры — PetalBot (25,4%), Amzn-SearchBot (17,3%), Applebot (16,7%), OAI-SearchBot (11,9%). Полноценные браузерные AI-агенты пока редкость: Google-Agent (43% от всего AI-браузинга), Manus-User (40,1%) и ChatGPT Agent (16,9%).
Отдельно замерили, насколько боты уважают robots.txt. Идеальные 100% показывают LinkupBot, serpstatbot, proximic, ClarityBot и другие SEO/рекламные боты. Хуже всех с повиновением у GPTBot (эффективность всего 24,6%), CCBot (22,6%), ClaudeBot (21,7%), Bytespider (18,9%), PerplexityBot (17,9%). Среди заблокированных топ-сайтами лидируют Baiduspider (82,6% соблюдения), SirdataBot (84,5%), ShapBot (90,4%). При этом в индексе предупреждают: цифры показывают связь, но не доказывают, что именно robots.txt заставил бота снизить активность.
Ещё в данных обнаружили активную кампанию по подделке ИИ-ботов. Злоумышленники маскируются под Googlebot, ChatGPT-User, GPTBot и сканируют сайты в поисках уязвимостей. Целятся в конфигурационные файлы ИИ-инструментов: /.claude/settings.json, /.codex/config.toml, /.aws/credentials, .env, docker-compose.yaml, terraform.tfstate и прочее.
AI-чаты — ChatGPT, Claude, Copilot, DeepSeek, Gemini, Meta AI, Mistral, Perplexity — приносят сайтам реферальный трафик. Чаще всего цитируются сайты категорий Computers and Electronics и Travel and Transportation.
Методология: данные обновляются ежедневно, выборка не случайная, поэтому результаты лучше считать направлениями, а не точной переписью всего веба. Цитировать данные можно, но с указанием источника.