Команда AI Science Robotics представила Robostral Navigate — первую модель для навигации роботов в реальном мире. Это 8B-модель, которая берёт обычное RGB-изображение и инструкцию на естественном языке, а затем самостоятельно ведёт робота по маршруту: «Выйди из холла, пройди по коридору, зайди в подсобку и остановись лицом ко второй полке».
Другие модели для таких задач обычно используют датчики глубины, LiDAR или несколько камер. Robostral Navigate обходится одной камерой — и всё равно достигает 76,6% на бенчмарке R2R-CE (Room-to-Room в непрерывных средах) при тестировании на локациях, которых не было в обучении. Это на 9,7 пункта лучше, чем лучший подход с одной камерой, и на 4,5 пункта — чем системы с глубиной или несколькими камерами.
Модель предсказывает движение через pointing: она вычисляет координаты цели на текущем кадре и желаемый разворот робота при прибытии. Такой метод устойчив к изменениям калибровки камеры и масштаба мира. Если же цель за пределами поля зрения, модель переключается на смещения в локальной системе координат — например, «на 2 метра вперёд, 1,5 метра влево и поворот на 25 градусов влево».
Robostral Navigate полностью разработана внутри команды, без использования открытых VLM. Её инициализировали из собственной vision-language модели, специализированной на указании объектов, подсчёте и локализации. Навигация стала естественным продолжением этих навыков. Для обучения собрали датасет из примерно 400 000 траекторий в 6 000 сценах — всю генерацию данных провели в симуляции.
Ключевая фишка обучения — префикс-кэширование с древообразной маской внимания. Оно сжимает целый эпизод в одну последовательность и обрабатывает все временные шаги за один прямой проход, без утечки информации между шагами. Это сокращает количество токенов в 22 раза — то, что заняло бы месяцы, теперь делается за дни.
После supervised-этапа модель дообучают онлайн-RL по алгоритму CISPO. Робот учится на ошибках, восстанавливается после сбоев и пробует новые стратегии. Это дало плюс 3,2% к успешности, и, по словам команды, потолка пока не видно.
Robostral Navigate работает на колёсных, шагающих и летающих роботах разного размера, устойчива к разным параметрам камеры и уже применяется в производстве, доставке, логистике и гостиничном бизнесе.