Команда Unconventional AI представила Un-0 — генератор изображений на основе физической модели, а не классических нейросетей. Вместо стека трансформерных слоёв они используют популяцию связанных осцилляторов (Kuramoto oscillators). Идея в том, чтобы заставить законы физики выполнять вычисления — это должно дать выигрыш в энергоэффективности примерно в 1000 раз по сравнению с обычными GPU.
Работает это так. Каждый осциллятор описывается фазой — углом, под которым находится его «маятник». Осцилляторы связаны друг с другом с разной силой, и вся система эволюционирует по простому дифференциальному уравнению. В Un-0 обучаемыми параметрами являются матрица связей между осцилляторами и их собственные частоты. Обычный декодер (менее 13% всех параметров модели) в конце превращает итоговые фазы в пиксели.
Генерация идёт в пять шагов: задаются случайные начальные фазы (аналог шума в диффузионных моделях); добавляется группа осцилляторов, кодирующая нужный класс («ромашка» или «вулкан»); система отпускается и эволюционирует сама по себе; в момент времени T делается «снимок» фаз; декодер превращает этот снимок в готовое изображение.
Результаты: на ImageNet 64×64 модель достигает FID 6.74. Это уровень первых успешных генераторов вроде NCSN, DCGAN или BigGAN, но хуже, чем у современных лидеров вроде EDM. Un-0 пока отстаёт от обычных моделей по качеству при большом количестве параметров, но авторы считают это хорошей отправной точкой.
Абляции подтверждают, что физическая динамика действительно работает, а не просто передаёт шум в декодер. Замороженная случайная динамика (reservoir) даёт улучшение, но обученная динамика с большим числом шагов интеграции заметно лучше. Авторы выяснили, что динамика отвечает за разнообразие генерируемых изображений, а декодер — за их качество.
Все веса, код обучения и абляции открыты на GitHub. Un-0 — это proof of concept, показывающий, что современный AI можно запускать на физических субстратах. Следующий шаг — закрыть отрыв от обычных моделей и добраться до 1000-кратной экономии энергии.