12 мая 2026 года с 13:41 до 17:43 UTC у GitHub случился неприятный сбой — несколько сервисов сильно тормозили. Больше всего досталось Code Scanning: 53% чек-ранов выполнялись дольше 15 минут. Уведомления шли в среднем 22 минуты, а вебхуки для Slack — 20 минут. Всё из-за того, что внутри переезжали базу данных, и из-за задержек репликации рабочим воркерам просто не хватало мощностей обработать поток задач, который на них свалился.
Проблему решили просто — накинули ещё воркеров, и обработка вернулась в норму. В будущем GitHub собирается сделать отдельные worker pool’ы для самых загруженных общих очередей, чтобы такое не повторялось.
Сбой начали расследовать в 15:13 UTC, когда заметили, что деградировала производительность CodeQL. К 15:42 добавились задержки с уведомлениями, вебхуками и интеграцией Slack. Через полчаса выяснили, что основная причина — очередь на стороне сервиса, и начали масштабирование. Уже к 16:28 вебхуки показали признаки жизни, а в 16:29 их официально восстановили. CodeQL догнал к 16:59, а к 17:43 все сервисы окончательно очухались.