Transformer Transformer — это модель, которая по одной демонстрации движения генерирует полную конструкцию робота: каждое звено, сустав, мотор и инерционный параметр, оптимизированные именно под эту задачу. Идею проверили на платформе ALOHA 2 для операции встряхивания ткани. Сгенерированный робот уменьшил ошибку отслеживания траектории на 73% и максимальную скорость суставов на 30% по сравнению с оригинальной конструкцией.
За этим стоит diffusion transformer, обученный на RoboTokens — унифицированной токенизации, которая представляет воплощения роботов, их состояния и действия. Единая архитектура работает с разными типами машин (колёсными двурукими, четвероногими, гуманоидами) и в разных сценариях: и для генерации новых воплощений, и для кросс-воплощённого управления. Модель не подгоняют под одну функцию награды. Это модель динамики с предсказаниями, которые не зависят от конкретной награды. На этапе вывода их преобразуют в предсказания ценности для нужной награды и с помощью процедуры Dynamics Self-Guidance направляют диффузию воплощения. Эксперименты в трёх пространствах дизайна показали zero-shot оптимизацию для ранее не виденных наград и траекторий — без дообучения. По качеству и скорости работы новый метод обходит эволюционный базовый уровень.