MiniMax выкатила H3 — видеомодель следующего поколения с открытыми весами. С сегодняшнего утра она нативно поддерживается в ComfyUI, день в день. Это третья видеомодель MiniMax после Hailuo 01 и Hailuo 02 и первая с открытыми весами.
На вход можно подать текст, картинки, видео или аудио. На выходе — ролик до 2K и до 15 секунд с настоящим стереозвуком. Звук генерируется в том же проходе, что и видео, а не приклеивается потом. Есть режимы text-to-video, image-to-video, first-and-last-frame и reference-to-video. В first-and-last-frame задаёшь начальный, финальный или оба кадра — модель заполняет остальное. Reference-to-video позволяет взять референсное изображение, видео или аудио и протащить через клип объект, движение или голос. Пять отдельных задач сжимаются в одну модель: H3 принимает картинки, аудио и видео вместе, а промпт объясняет, как они связаны с нужным кадром. Кросс-модальную работу модель берёт на себя.
Для графов в ComfyUI важнее всего motion transfer — перенос движения. Референсное видео задаёт проход камеры, игру актёра или ритм монтажа, а объект и стиль приходят из другого источника. Вместе с редактированием на месте это позволяет быстро итерировать кадр.
Чтобы H3 нормально работала на потребительском железе, разработчикам пришлось серьёзно повозиться. Выяснилось: modulation weights модели (около 40% параметров) можно отсечь и заменить функционально эквивалентной lookup-таблицей — память сильно сокращается, качество вывода не падает. Плюс веса идут с точной и эффективной int8 convrot-квантизацией, а кастомные ядра снижают пиковый расход VRAM при инференсе. Итог: общий объём памяти уменьшается на 66% — со 123.6 GB в full precision до 42.5 GB у самых маленьких вариантов. С динамическим VRAM offloading 2K-видеомодель нового поколения запускается локально на GPU вроде RTX 3060.
Обновите ComfyUI до последней версии 0.30.0 или заходите в Comfy Cloud. Воркфлоу I2V, R2V и T2V лежат в библиотеке шаблонов. Внутри каждого — подсказка, куда скачать модели и в какую папку их положить. Пишите промпт, подключайте кадры или референсы и запускайте. Веса — в репозитории Comfy-Org/MiniMax-H3. Как всегда, приятного творчества!