Проблема, о которой LWN писал ещё в начале 2025 года, только усугубилась. Сайты атакуют скрейперы, собирающие данные для тренировки больших языковых моделей. Трафик идёт с миллионов уникальных IP-адресов, каждый делает пару запросов и исчезает. Боты имитируют обычных пользователей: не подгружают картинки и CSS, но к тому моменту, как это выясняется, адрес уже неактивен.
Основной источник такого трафика — так называемые residential proxies. Это легитимные домашние и мобильные устройства, которыми управляют центральные командные серверы. Чаще всего владельцы даже не знают, что их оборудование используют для атак. Есть несколько типов операторов таких сетей. Первые — откровенно криминальные. Например, в начале года Google помогла закрыть ботнет IPIDEA, и трафик на LWN ощутимо упал на несколько месяцев. Но тишина закончилась. Недавно выяснилось, что крупным переносчиком вредоносного софта стали медиастриминговые устройства — их либо взламывают уже у пользователя, либо компрометируют ещё на этапе производства.
Второй тип операторов маскируется под легитимность. Яркий пример — компания Bright Data. Она предлагает «бесплатный» VPN, но взамен требует разрешения маршрутизировать трафик через устройство пользователя. Телефон становится частью атакующей сети. Другие похожие конторы встраивают свои SDK в приложения и платят разработчикам за захват сетевых соединений пользователей.
Крупные AI-компании, типа создателей передовых моделей, тоже скрейпят, но честнее: их трафик легко опознать по user-agent, они соблюдают robots.txt. Они не генерируют лавину запросов с миллионов машин и не являются главной проблемой. Непонятно, кто именно платит за использование residential proxies. Прямых доказательств, что это делают ведущие разработчики моделей, нет, но если бы это вскрылось, никто бы не удивился. Помимо публичных моделей, существует масса теневых проектов — частные компании, госструктуры и криминал пытаются создать свои модели, и всем нужны данные.
Сайты вынуждены защищаться. Кто-то ставит Anubis (proof of work), кто-то — коммерческие капчи или «докажи, что ты человек». LWN не использует Anubis: это тормозит читателей, а скрейперы с миллионами чужих машин легко обойдут такую защиту. Вместо этого сайт агрессивно оптимизировал код и урезал тяжёлые операции во время атак. Анонимные читатели иногда замечают задержки, авторизованные — нет. Ирония в том, что под атакой сайт часто работает быстрее, чем в спокойные периоды, когда защита отключена.
2 июля Google совместно с ФБР закрыла ещё одну сеть — NetNut. На время атаки стихли, но это временное облегчение. Google проверяет приложения в Play Store на заражение NetNut, но молчат, почему их маркетам так легко проскочить софт с функционалом residential proxy. Пока индустрия AI спокойно превращает независимые сайты в «дымящиеся воронки», выгребая их содержимое, открытая сеть, которая когда-то породила столько инноваций, оказывается за бетонными стенами.