Крис Зибенманн, автор блога Wandering Thoughts, решил жёстко бороться с краулерами. С начала 2025 года сайт атакуют десятки высокочастотных ботов — судя по всему, они собирают данные для обучения LLM. Проблема в том, что многие из них представляются слишком общими User-Agent, например Go-http-client/1.1. Такое значение не позволяет понять, кто именно стучится и зачем.
Зибенманн начал эксперимент: он блокирует все запросы с подозрительно generic HTTP User-Agent. И выставил чёткие требования. Для обычных браузеров — претензий нет. А вот для не-браузерного софта в заголовке должно быть указано не только имя программы, но и конкретная организация или человек, который её использует. Если в User-Agent фигурирует слово «compatible» (например, Mozilla/5.0 (compatible; mysoftware)), это неприемлемо — нужна реальная рабочая ссылка с описанием. То же самое для ботов: маркер bot обязан сопровождаться URL, который ведёт на страницу с пояснениями. Почтовый адрес не подходит.
Пост датирован 18 апреля 2026 года. Пока это эксперимент по снижению нагрузки на сервер, но если метод сработает — останется надолго.