Крис Зибенманн, автор блога Wandering Thoughts, с апреля 2026 года начал блокировать HTTP-запросы со слишком общими User-Agent. Причина — с начала 2025 года интернет наводнили высокообъёмные краулеры, которые собирают данные для обучения LLM и при этом используют generic-заголовки вроде Go-http-client/1.1. Чтобы снизить нагрузку на сервер, Зибенманн в тестовом режиме режет всех таких клиентов.
Он чётко формулирует требования к User-Agent. Каждый заголовок должен однозначно идентифицировать программу. Для не-браузерных агентов — не только софт, но и конкретного пользователя, который им управляет. Значение типа «Mozilla/5.0 (compatible; mysoftware)» без дополнительного URL теперь не катит. Если в заголовке есть слово compatible, обязательно нужна настоящая ссылка на страницу с описанием активности или самого инструмента.
Простое Go-http-client/1.1 Зибенманн больше не считает приемлемым. Исключений для популярных библиотек он не делает. Пост датирован 18 апреля 2026 года, так что это свежее решение владельца сайта, а не какая-то индустриальная инициатива.
Остальным владельцам ресурсов стоит взять на заметку: если ваш краулер стучится с пустым или слишком общим User-Agent, вас скоро начнут банить всё чаще. Минимальный стандарт — указать конкретный продукт и оставить работающий URL для проверки.