Google представила модель DiffusionGemma. Она использует диффузию для генерации текста, а это совсем другой подход.
Большинство языковых моделей работают как пишущая машинка. Они выдают по одному токену за раз, слева направо. В облаке это нормально — сервера собирают тысячи запросов в батчи и загружают железо равномерно. Но на локальной машине эта схема проваливается. Твой GPU или TPU большую часть времени просто ждёт следующего нажатия «клавиши». Ресурсы простаивают.
DiffusionGemma переворачивает эту логику. Она не предсказывает слова по очереди. Вместо этого она сразу черновиком генерирует целый блок из 256 токенов. За один проход. Процессору достаётся большой кусок работы, и он загружен по полной.
В статье это описывают так: модель превращается из последовательной пишущей машинки в огромный печатный станок. Он штампует весь абзац целиком, а не печатает букву за буквой. Это меняет паттерн утилизации аппаратного обеспечения и решает проблему неэффективности при локальном запуске.