В марте 2026 года сайт TheNumbers.com, главный независимый источник данных о кассовых сборах, бюджетах и стриминге для 78 тысяч фильмов, просто исчез. Через неделю он вернулся в урезанном виде — без исторических чартов, страниц фильмов и знаменитого Report Builder. Основатель и CEO проекта Брюс Нэш рассказал, что на самом деле случилось.
Проблемы начались задолго до падения. The Numbers, запущенный в 1997 году как страничка на Geocities, десятилетиями собирал данные вручную и стал эталоном для журналистов, учёных, кинематографистов и, что критично, prediction markets вроде Polymarket. Еженедельные рынки на стартовые уикенды используют The Numbers как единственный источник истины для расчёта выплат. Доступ к ещё не опубликованным цифрам даёт гигантское преимущество перед другими трейдерами.
К началу 2026 года сайт захлебнулся в трафике. По оценкам Брюса Нэша, лишь 10% запросов шло от живых людей — всё остальное генерировали AI-краулеры и agentic AI. Сначала были массовые выкачки для тренировки LLM от OpenAI, Anthropic и других. Затем, примерно с декабря 2025-го, пошли агенты, способные прощупывать сайт по запросам и самостоятельно искать уязвимости. Команда тратила 90% времени только на поддержание старой системы из 160 тысяч исходных файлов.
В ночь на 5 марта серверы рухнули. В логах, помимо захлёбывающегося скрейпинга, обнаружились целенаправленные попытки найти бэкдоры в легаси-коде. Восстанавливать тридцатилетний сайт с резервной копии означало снова выставить его под удар. Поэтому старый сервер просто оставили выключенным навсегда. Уже 13 марта заработала скелетная версия на новой инфраструктуре, которая выдаёт свежие цифры, но без прежнего архива. Бизнес устоял только потому, что главные деньги The Numbers приносит не открытый сайт, а платные сервисы вроде OpusData и Business Report.
Ситуация The Numbers — не частный случай. Cloudflare фиксирует, что OpenAI выкачивает более тысячи страниц на каждого приведённого посетителя, а Anthropic — свыше 38 тысяч. Read the Docs заплатил $5 000 за скачанные одним краулером 73 терабайта HTML, iFixit за день получил миллион запросов от бота Anthropic, Triplegangers упал в нерабочее время из-за атаки бота OpenAI, а SourceHut и LWN описывают происходящее как distribution denial-of-service attack. Wikipedia сообщила, что боты генерируют 65% самой дорогой по нагрузке части трафика, при этом читатели всё чаще получают знания из AI-сводок, вообще не заходя на сайт.
Сейчас Брюс Нэш и команда вынуждены проектировать сайт заново, рассчитывая уже не на две аудитории (люди и поисковики), а на шесть: люди, поисковики, тренировка LLM, prompt-based AI-трафик, agentic AI и игроки prediction markets. Cloudflare уже запустил модели pay-per-crawl и pay-per-use, чтобы издатели могли получать деньги, когда их контент всплывает в AI-ответах. Но работает это только если AI-компании согласятся платить, а не просто обходить правила. Брюс Нэш говорит прямо: открытый веб построен на предположении, что трафик примерно равен читателям и расходы на хостинг оправданы. Теперь это не так.