Стелла — приложение для Meta smart glasses. Разработчик разобрал версию 273.0.0.21 для Android и нашёл полный стек для распознавания лиц прямо на устройстве. Три модели для детекции и создания биометрических отпечатков, локальная база данных, векторный индекс на 2048 измерений, запись неопознанных лиц на диск, готовая система уведомлений и скрытый виджет «Connections».
На устройство через систему доставки ассетов NMLML загружаются три модели формата ExecuTorch (.pte). SCRFD (3.4 MB) находит лица на фото. KPSAligner (117 KB) обрезает и выравнивает лицо. SFace (96 MB) превращает лицо в массив из 2048 чисел — биометрический отпечаток. Это открытые архитектуры, такие же используются в академических проектах, но версия Meta заметно больше эталонной.
Распознавание работает через базу objects.db в синк-фреймворке RLDrive. Там три таблицы: person (имя, URI), face (привязка к человеку) и виртуальная таблица face_mediaPath_vec на расширении sqlite-vec. Она хранит 2048-мерные эмбеддинги и ищет по косинусному расстоянию. Всё подогнано друг под друга: размерность вектора совпадает с выходом SFace, метрика стандартная для сравнения лиц.
Разработчик запустил полный пайплайн на тестовом снимке. С пустым индексом система написала на диск пару файлов: сам обрезок лица (.jpg) и его отпечаток (.emb). Они попадают в папку NameTagsPending/ по адресу /data/user/0/com.facebook.stella/files/. Каждый файл — UUID, размер эмбеддинга 8192 байта (2048 чисел float32), L2-норма ровно 1. Это полная биометрическая запись лица, готовая для идентификации, когда появится имя. Если в индекс заранее загрузить один вектор, распознавание срабатывает: на устройство приходит уведомление с канала nametags_recognition, текстом «Person recognized — Recognized Michel Foucault» и глубокой ссылкой fb-viewapp://name_tags?face_id=.... Ничего на диск при этом не пишется.
Канал уведомлений настроен на IMPORTANCE_HIGH — со звуком, иконкой и возможностью свайпнуть. Правда, экран, на который ведёт ссылка, в сборке v273 отсутствует, так что тап по уведомлению просто открывает основную вкладку. Виджет «Connections» с текстом «Remember the people you met» тоже есть в APK, но на обычной учётке не показывается.
Разработчик специально подчёркивает: он не утверждает, что Meta тайно идентифицирует людей для пользователей прямо сейчас. Он не видел, чтобы сервер Meta присылал данные в базу person_profiles на его аккаунте. Вывод такой: на устройстве собран, собран и работает законченный механизм для распознавания лиц — от детекции до уведомления. Это не случайно оставленный код. Решение о том, включать его или нет, остаётся за Meta. Исследование опубликовано вместе с материалом в WIRED.