Андрей Михайлов выпустил TurboFieldfare — кастомный рантайм на Swift и Metal, который запускает текстовую модель Gemma 4 26B-A4B примерно в 2 ГБ оперативной памяти на любом Mac с Apple Silicon, включая версии с 8 ГБ RAM. В память загружается только общее ядро модели на 1,35 ГБ и FP16 KV-кеш, а нужные для каждого токена эксперты стримятся с SSD. Это позволило уместить 26-миллиардную модель с 3,88 миллиарда активных параметров на токен в жёсткий бюджет без загрузки всего чекпоинта размером 14,3 ГБ в оперативную память.
Рантайм, стриминговый установщик, CLI и нативное Mac-приложение написаны на Swift и Metal. Проект не обёртка над MLX или llama.cpp, а специализированная реализация под конкретную модель. Веса хранятся в MLX affine 4-bit для основных слоёв и экспертов, 8-bit для роутера. На MacBook Air с M2 и 8 ГБ RAM декодинг выдаёт 5,1–6,3 токена в секунду, а на M5 Pro — уже 31–35 токенов в секунду. Для воспроизводимых замеров Михайлов собрал таблицу из 103 результатов по ядрам, кешированию, вводу-выводу, префиллу и декодингу.
Установка модели не требует полной выгрузки исходного чекпоинта. Установщик стягивает нужные диапазоны байтов из закреплённой ревизии на Hugging Face и на лету перепаковывает их в директорию .gturbo, занимая в итоге около 14,3 ГБ на диске. После проверки манифеста и хешей модель можно загрузить и генерировать текст. Приложение само обрабатывает формат чата Gemma, по умолчанию выставляет temperature 0,2, Top-K 64, Top-P 0,95 и поддерживает стоп-кнопку или Escape для досрочного завершения.
Под капотом на каждом слое трансформера Metal считает внимание и роутер по резидентным весам, а CPU забирает из роутера top-8 идентификаторов экспертов и проверяет 16-слотовый LFU-кеш. Промахи подгружаются параллельными pread-вызовами в буферы, доступные Metal. Пока идут чтения с диска, Metal обсчитывает общую экспертную ветку, после чего выходы комбинируются. Префилл разбивается на чанки до 128 токенов, а генерация идёт по одному токену.
В репозитории лежат шесть продуктов: библиотека рантайма и Metal-ядер, нативное Mac-приложение, декодинг-сервис, CLI, loopback-сервер с OpenAI-совместимым API для чат-комплишенов и стриминговый установщик-репакер. Сервер слушает http://127.0.0.1:8080/v1, поддерживает потоковую генерацию и вызовы функций, но требует, чтобы клиент сам авторизовал и выполнял каждый tool call. Никакой удалённой аутентификации и TLS нет — только loopback.
Код собирается под arm64, требует macOS 26, Metal 4, Xcode 26 и Swift 6.2. Сборка из исходников запускается стандартной командой swift build -c release. Модель загружается один раз и разделяется между интерфейсами, но два экземпляра одновременно запускать нельзя. Проект под лицензией Apache License 2.0, веса модели — под своими исходными условиями. TurboFieldfare независимый исследовательский проект, не связанный с Google.
В планах — сборка под iPhone и iPad, а также новые бенчмарки на разных конфигурациях Apple Silicon, особенно на базовой M4 Mac mini с 16 ГБ. Название проект получил в честь дрозда-рябинника, любимой птицы автора.