Авторы Tech Policy Press критикуют федеральный Stealth Bot Prohibition Act и нью-йоркский Stealth Crawler Prohibition Act. Законопроекты появились на фоне реальной проблемы: AI-разработчики массово собирают контент, увеличивают нагрузку и расходы сайтов, а chatbot-ответы способны сокращать переходы и рекламную выручку изданий. Однако предложенные меры направлены прежде всего на анонимность, а не на вредное поведение.
Под определение bot или crawler попадает практически любое ПО, которое автоматически открывает, сканирует или индексирует сайт. «Скрытым» его делает отсутствие раскрытия личности оператора и конкретной цели. Федеральный законопроект позволяет FTC требовать штраф до $53 тысяч, если использование такого бота с достаточной вероятностью может повредить или создать нагрузку на техническую либо коммерческую работу сайта. Авторы отмечают отсутствие ясного критерия этой вероятности. Нью-йоркский вариант позволяет новостному издателю добиться subpoena для раскрытия оператора без предварительного доказательства вреда.
Раскрытие имени не ограничивает число запросов: компания может представиться и продолжать обращаться к сайту 10 тысяч раз в минуту. Напротив, анонимный журналистский анализ потенциально антиконкурентного поведения оказался бы под угрозой. В некоторых исследованиях раскрытие наблюдателя меняет поведение объекта и сам результат.
Материал перечисляет общественно полезные применения scraping. Расследование Wall Street Journal, удостоенное Pulitzer Prize, проанализировало более 31 тысячи финансовых деклараций 12 тысяч чиновников. Wayback Machine сохранила более триллиона страниц для журналистики, судов и исторической памяти. Автоматический сбор помогает изучать дезинформацию, дискриминацию, доступность сайтов и опиоидную эпидемию, а государственные сервисы используют crawlers для выявления угроз.
Авторы связывают требование идентификации с решением Верховного суда Lamont v. Postmaster General, отменившим обязательное раскрытие получателей политических публикаций. По их аргументу, аналогичная нагрузка на свободу получать информацию возникает и при доступе к публичным веб-страницам, а расплывчатые нормы побуждают исследователей отказываться от законной работы.
Существующие нормы о приватности, авторском праве и защите потребителей уже охватывают часть вредных сценариев. Для управления нагрузкой предлагается дождаться интероперабельных стандартов IETF, включая анонимное подтверждение добросовестного поведения краулера. Если новый закон всё же нужен, ответственность должна зависеть от доказуемого вреда: перегрузки серверов, мошенничества или запрещённого использования данных, а не самой анонимности.