Исследовательская лаборатория Linum из двух человек выпустила экспериментальную text-to-image-модель Pyramid-JiT с открытыми весами Apache 2.0. Проект стал проверкой архитектуры перед более крупной generative video-моделью. Команда считает главными проблемами нынешнего видео высокую стоимость inference и слабые средства управления, которые мешают итеративной творческой работе.
P-JiT работает непосредственно в pixel space и не использует отдельный Variational Autoencoder. По мнению Linum, реконструкция VAE не всегда улучшает последующую генерацию, а diffusion-модель способна одновременно научиться сжатию и формированию изображения. Переход от token reduction 16×16 к 32×32 вчетверо сократил attention context: изображение 512² представляется числом токенов, которое Linum v2 использовала для 256². В прежних экспериментах архитектура сошлась за в 11 раз меньше samples.
Основная DiT имеет 2 млрд параметров, а замороженный текстовый encoder Qwen3.5-4B — ещё 4 млрд. Текст и изображение проходят по два refiner-блока и объединяются в поток из 22 DiT-блоков. PixelREPA выравнивает промежуточное представление с DINOv3-L, а readouts после блоков 10 и 16 предсказывают изображение в четверть и половину разрешения, усиливая ранние градиенты. Вспомогательные heads при sampling отбрасываются.
Обучение охватило 660 млн samples: около 610 млн при 512² и 50 млн при 1024². Для перехода между разрешениями применили RoPE interpolation и новый optimizer. Post-training использовал вариант Finite Difference Flow Optimization с JEV-Image и human-in-the-loop judges.
Общая стоимость вычислений составила $21 038: $20 348 на pre-training и $690 на post-training. Это 8415 часов H100 по $2,50; работа шла на 64 H100 с bf16 и FSDP2. Сумма относится к конкретному training run, а не ко всем расходам лаборатории на исследование.
Авторы прямо перечисляют ограничения. Из обучающих данных полностью исключены изображения с rendered text, поэтому модель не пишет текст и не создаёт инфографику или постеры. Из-за небольшого размера она хуже справляется с full body, толпами, множеством объектов, взаимодействием нескольких людей и вопросами world knowledge. Иногда такие изображения получаются, но стабильности нет. Linum рассматривает релиз как proof of concept и площадку для дальнейшего увеличения модели и post-training, а не как законченный универсальный генератор.