Двое исследователей собрали тестовый полигон: дали модели песню, жёсткий бюджет и набор инструментов, а затем просто смотрели, как она сама делает клип. Модель сама ищет генераторы видео, рендерит ролики, просматривает их, режет ffmpeg и собирает финальный файл. Всё для того, чтобы сравнить, как разные frontier-модели работают с инструментами в открытой длинной задаче.
Запустили две модели — Claude Fable 5 и GPT-5.6 Sol. Каждую на двух бюджетах — $25 и $100 (всего четыре прогона). Всем дали одну песню — «Uptown Funk», короткое текстовое описание и таймкоды с текстом. У модели было шесть инструментов: plan (подумать, бесплатно), web_search (поискать модели и API), get_budget (проверить остаток), generate_image и generate_video (тратят бюджет, можно выбирать любые модели на FAL или Replicate), run_command (локальный shell с ffmpeg для склейки и наложения аудио). Когда бюджет заканчивался, платная генерация блокировалась, но править видео модель могла дальше. Код полигона открыт на github.com/hershalb/music-video-arena.
Все четыре прогона завершились сами, все сделали полноценный клип с песней. Разница в подходах: три из четырёх пошли чистым text-to-video. Только GPT-5.6 Sol на $25 сначала сгенерировал кадры (FLUX schnell), потом анимировал их (Wan 2.2-5b i2v). GPT-5.6 Sol на $100 смешал три разные модели — Wan 2.5, Veo 3.1 Lite и Hailuo 2.3 Standard. Claude Fable 5 на обоих бюджетах использовал одну модель: на $25 — Wan 2.5, на $100 — Seedance 1.0 Pro. Количество сгенерированных клипов колебалось от 46 до 80.
GPT-5.6 Sol на $25 оказался самым изобретательным монтажёром: накладывал текст, анимировал стоп-кадры, делал видеоэффекты. Остальные в основном просто склеивали сгенерированные куски. Ни одна модель по-настоящему не возвращалась к готовым клипам, чтобы их перерезать или улучшить — просто склеили и замуксовали. Ещё никто не притронулся к Replicate, все юзали только FAL.
Claude Fable 5 обошёлся дороже: на $100 общая стоимость достигла $73,65 (генерация $48,60 + токены $25,05), у GPT-5.6 Sol при похожем объёме токенов LLM-часть стоила всего $3–4. При этом Fable 5 закончил быстрее, и субъективно его видео на $100 выглядело чуть лучше, но все четыре далеки от идеала.
Проблемы: персонажи и сюжет не держатся — губка дрейфует между кадрами, истории нет. Модели слишком буквально трактуют текст: «вынуди дракона уйти на пенсию» — получаете настоящего дракона. Темп монтажа: биты вроде попадают (работает ffmpeg beat detection), но движения внутри клипов часто не совпадают с ритмом песни. Бюджет $100 оказался избыточным — ни одна модель не потратила его полностью (максимум $48,60), не стали генерировать консистентных персонажей заранее. В целом — интересный эксперимент, но до качественного клипа ещё далеко.