Anthropic опубликовала FlashProve — открытый исследовательский прототип криптографического доказательства инференса больших языковых моделей. Система позволяет проверить, что ответ действительно получен от модели с заранее зафиксированными весами, не раскрывая сами веса и не требуя от проверяющего повторно запускать модель. Для этого используется zkSNARK: краткое доказательство, которое невозможно убедительно подделать без нарушения принятых криптографических предположений.
Работа разделена на два этапа. В автономной фазе поставщик публикует компактное обязательство, привязанное к конкретным весам. Во время обслуживания запросов он создаёт доказательства соответствия промпта и выходных токенов этой модели. Архитектура модели не скрывается. Такие доказательства могут помочь клиентам сторонних маршрутизаторов, независимым оценщикам и регуляторам убедиться, что вместо заявленной модели не использовалась более дешёвая или неутверждённая. При этом проверка инференса не доказывает, что на том же оборудовании параллельно не ведётся обучение.
Для Llama 4 Maverick с 400 млрд параметров, из которых около 17 млрд активны на токен, использовались открытые 4-битные веса. На одной H100 и 24 CPU-ядрах подготовка заняла около 39 минут; полученного обязательства хватает примерно на 16 млн запросов. Пакет из 24 запросов доказывался за 223 секунды, что соответствует 110 токенам в секунду. Размер доказательства — 18,78 МБ. Проверка на CPU заняла 17 секунд на 24 потоках или 21 секунду на одном. По сравнению с vLLM затраты GPU-времени оказались выше примерно в 72 раза при сопоставимом пакете и в 94 раза при максимальной протестированной загрузке.
Код, технический отчёт, спецификация и формальные доказательства выпущены под Apache 2.0. Основные свойства — полнота, корректность и нулевое разглашение — сформулированы и доказаны на Lean. Есть быстрый верификатор C++ и медленный исполняемый верификатор Lean.
Прототип сохраняет существенные ограничения. Доказательства создаются после генерации пакетами, относятся к целочисленной модели с жадным декодированием и пока охватывают контекст до 1024 токенов. Соответствие быстрого кода, отчёта и формального протокола полностью не доказано. Побочные каналы, например время создания доказательства, не учитываются. Поэтому публикация демонстрирует заметный прирост производительности, но не завершённую систему для промышленной проверки любого инференса.