Компания PrismML выпустила Bonsai Image 4B — семейство компактных моделей для генерации изображений прямо на устройстве, от ноутбука до iPhone.
Модель выходит в двух версиях. 1-bit Bonsai Image 4B использует бинарные веса {−1, +1} с эффективным весом 1,125 бита — это максимальное сжатие, когда важнее всего память и пропускная способность. Ternary Bonsai Image 4B добавляет вес {0} и даёт 1,71 бита на параметр, что заметно поднимает качество картинки и точность следования промпту.
Обе построены на архитектуре FLUX.2 Klein 4B, но PrismML сжала главный «пожиратель» памяти — diffusion transformer. В 1-bit версии он занимает всего 0,93 ГБ — это в 8,3 раза меньше исходных 7,75 ГБ. У тернарной версии — 1,21 ГБ (сжатие в 6,4 раза). Полный пакет для Apple Silicon с учётом кодировщика текста и VAE весит 3,42 ГБ и 3,88 ГБ соответственно, против 15,97 ГБ у FLUX.2. В реальной генерации памяти уходит ещё меньше — 1,5–2,38 ГБ в зависимости от модели и разрешения.
Именно это позволило запустить модель на iPhone. Полноценный FLUX.2 Klein 4B в iPhone 17 Pro Max просто не помещается, а Bonsai — работает. На iPhone 17 Pro Max генерация 512×512 занимает 9,4 секунды, на Mac M4 Pro — около 6 секунд, что в 5,6 раза быстрее стандартного full-precision пайплайна.
По качеству модель не провалилась. Ternary Bonsai Image 4B сохраняет 95% точности FLUX.2 Klein 4B по бенчмаркам GenEval, HPSv3 и DPG-Bench при сжатии в 6,4 раза. 1-bit версия держит 88% при сжатии в 8,3 раза. PrismML называют это сдвигом границы качества-объёма: модель ведёт себя как современный diffusion transformer, но умещается в память, где раньше жили лишь мелкие и слабые сети.
Смысл не только в сжатии, но в смене парадигмы. Генерация в облаке превращает творческий процесс в дорогие и медленные итерации с задержкой. Локальный запуск — это дёшево, быстро и приватно.
Обе версии модели и код выходят под лицензией Apache 2.0 с открытыми весами. Вместе с релизом запустили iOS-приложение Bonsai Studio — можно попробовать Bonsai Image 4B прямо на iPhone. Сама PrismML вышла из команды исследователей Caltech при поддержке Khosla Ventures, Cerberus и Google.