Рэндалл Балестриеро и Ян Лекун развили Platonic Representation Hypothesis — предположение, что модели разных модальностей по мере масштабирования формируют сходное внутреннее представление мира. В новой работе они сформулировали Platonic Representation Theorem для Joint-Embedding Predictive Architectures. При определённых условиях JEPA, обученные отдельно на разных модальностях, действительно приходят к одинаковому представлению с точностью до одного вращения.
Ключевое условие — «хорошие виды»: положительная пара должна содержать два наблюдения одной сцены, например два изображения или две подписи к ней, а рассогласование остальных пар должно быть ограничено. Авторы показывают, что next-token prediction тоже можно представить как JEPA, но с «плохими видами»: фрагмент документа и его продолжение не являются независимыми наблюдениями одной сцены. По их объяснению, именно поэтому языковым моделям требуется масштаб для сближения с визуальными представлениями.
Теорию проверяли на данных от 145 тысяч подписей до текстов, связанных с 940 миллионами веб-изображений. Выявленный scaling law предсказывал выравнивание новых запусков в пределах вариативности random seed. Хорошие пары потребовали в 42 раза меньше обучающих примеров, чем next-token prediction на том же корпусе для достижения одинакового выравнивания.
Текстовая JEPA на 109 миллионов параметров лучше согласовалась с DINOv2 и визуальным кодировщиком CLIP, чем проверенные языковые модели вплоть до 72 миллиардов параметров и текстовый кодировщик CLIP. После одного вращения отдельно обученные кодировщики работали как image captioner с CIDEr 0,838 на COCO. На pair-free benchmark модель достигла 64% top-5 на ImageNet-100 против максимум 56% у сравниваемых языковых моделей до 8 миллиардов параметров. Вывод авторов: решающим рычагом становится устройство положительных пар, а не только рост масштаба. При этом теорема относится к сформулированным в работе условиям JEPA, а не гарантирует совпадение представлений у любых моделей и способов обучения.