Пользователь под ником Obaid, заполняя заявку на Startup School Y Combinator, запустил на своем компьютере скрипт Paxel — однострочную команду curl, которая через Docker разворачивала Ruby-приложение для анализа всего кода, написанного с AI-агентом. Оказалось, что так YC оценивает уже 1,2 миллиона разработчиков по пяти осям: execution_leverage, steering, engineering_quality, product_thinking и planning. Пайплайн собирал чаты, группировал их в эпизоды и отправлял в paxel-llm.ycombinator.com — бесплатный прокси до gpt-5.5, который выставлял баллы от 1 до 10 и присылал заметки. Итоговый отчёт со всеми оценками уходил на paxel.ycombinator.com/api/v1/results.
Валидация выглядела так: сервер проверял nonce, переданный вместе с результатами, и сжигал его после использования. Но nonce не содержал криптографической подписи самих оценок — отсутствовал HMAC, который бы скреплял ответ модели с этим одноразовым токеном. Из-за этого любой мог подменить баллы и заметки в теле запроса, и YC принимал изменённый рейтинг как настоящий. Obaid наглядно показал, как один и тот же проект получал кардинально разные оценки после ручной накрутки.
Уже через пару часов после публичного раскрытия уязвимости Джаред Фридман лично ответил, сообщил о выпущенном патче и пригласил автора на очную Startup School в Сан-Франциско этим летом. Любопытно, что на приватное письмо, отправленное на 12 дней раньше, реакции не последовало. Obaid также подготовил инструмент paxel-boosted, который позволял любому желающему форжить отчёты; до фикса им успели воспользоваться больше 20 человек, записав себя в топ 1% базы YC.
Патч оказался ровно таким, как советовал автор: nonce теперь вычисляется как HMAC(request_id + scores.steering + scores.product_thinking + ... + title), что надёжно привязывает токен к оригинальным данным от LLM. Дополнительно Obaid отметил, что часть полей (сами баллы, заголовки эпизодов и заметки) неплохо было бы шифровать на стороне сервера, чтобы клиент вообще не видел сырых метрик — тогда заметить, что и как менять, стало бы невозможно. Был ли этот баг оставлен специально, как пасхалка или honeypot, автор сомневается: уж очень обыденной выглядела пробоина в децентрализованном пайплайне.