Google представила HEIR — открытый компилятор, который умеет запускать приватный AI-инференс на гомоморфном шифровании. Обычные защиты вроде end-to-end encryption защищают данные от утечек, но сервис не может работать с содержимым: не проверит письма на спам и не найдёт вирус. Локальная обработка тоже не спасает: мощности устройства ограничены, а отправлять на него проприетарную модель рискованно — утечёт IP. Гомоморфное шифрование ломает этот компромисс: вычисления выполняются прямо на зашифрованных данных. Сервер получает ciphertexts, обрабатывает их и возвращает зашифрованный результат, не видя исходную информацию. Демо ниже делает именно это — облачный сервис даёт рекомендации по контенту, не имея доступа к фичам пользователя.
HEIR расшифровывается как Homomorphic Encryption Intermediate Representation. Это открытая компиляторная toolchain и платформа для разработки. Компилятор конвертирует предобученные AI-модели, которые работают с обычными данными, в версии для зашифрованных входов. Видение Google — сделать HEIR решением в один клик, чтобы не-эксперты могли внедрять encrypted inference в продакшн.
С анонса в 2023 году сообщество подхватило проект. Google партнерится с компаниями, которые делают hardware-ускорители для гомоморфного шифрования: Belfort, Niobium, Cornami, Optalysys. Демо уже показывают плоды этой работы, а в ближайшем будущем Google планирует продемонстрировать выигрыш в латентности от ускорителей. HEIR стал и исследовательской платформой: криптографам не нужно строить всю инфраструктуру с нуля, они фокусируются на своей оптимизации, а тесты, бенчмарки и сравнения уже готовы. Среди коллабораций — Georgia Tech, Carnegie Mellon, UC Santa Barbara, Illinois Institute of Technology, Purdue, University of Edinburgh и Tsinghua University. На HEIR уже вышли четыре рецензируемые публикации, ещё готовятся, а сам проект собрал много цитирований.
Google поделилась четырьмя демоприложениями приватного инференса. Все скомпилированы с HEIR, цифры латентности — для single-threaded CPU, исходники лежат на GitHub. Вместе с Belfort Labs, LG и New York University сделали recommendation model — она даёт приватные рекомендации контента. С Niobium и hardshell.ai — детектор кредитного мошенничества. Также с Niobium — система Kitsune для поиска аномалий в зашифрованном сетевом трафике: провайдер видит, что что-то не так, но не читает содержимое пакетов. И с Belfort Labs — hotword detector, чтобы голосовой AI-агент распознавал hotwords, не получая доступ к аудиозаписям.
В итоге команда Google работает над тем, чтобы гомоморфное шифрование было легко разрабатывать, быстро запускать и повсеместно использовать в индустрии.