Стойки NVIDIA NVL72 объединяют 72 GPU одной быстрой сетью NVLink, но сами по себе не гарантируют ускорение больших AI-задач. Если планировщик разбросает части обучения по разным стойкам, они начинают общаться через InfiniBand и упираются в сеть. Для tensor parallelism переход с NVLink на InfiniBand способен снизить производительность на 43%.
Проблема особенно заметна у моделей mixture-of-experts. Им приходится постоянно пересылать токены между GPU, поэтому выгодно держать всю экспертную группу внутри одной NVLink-домена. В NVL72 такой домен охватывает всю стойку, а не один сервер. Это помогает и инференсу: распределение весов освобождает память под KV cache и позволяет обслуживать больше одновременных запросов.
SkyPilot предлагает не выделять каждую стойку задаче целиком. Вместо 18 серверов лучше использовать 16, а два оставить запасными. Когда очередной узел выйдет из строя, его заменят резервным, не останавливая всю задачу. Без запаса поломка одного сервера делает всю стойку непригодной для крупного запуска.
По расчётам NVIDIA при типичной для SkyPilot недоступности узлов около 2% схема «16 рабочих плюс два запасных» даёт 2037 доступных узлов вместо 1602 — прирост 27%. Размер в 64 GPU ещё и удобен для стандартных групп распределённого обучения.
Новый планировщик учитывает топологию: каждый блок задачи остаётся внутри одной стойки, неисправный узел заменяется на месте, а свободные мощности периодически собираются обратно в целые стойки. При тесте на 512 GPU GR00T такое размещение ускорило обучение на 14,4%. Для общих кластеров предусмотрена дефрагментация: безопасно перезапускаемые задания переносятся, чтобы крупная задача не ждала, пока свободные GPU лежат по разным стойкам.
Внутри стойки каждый GPU получает до 1,8 ТБ/с пропускной способности, а совокупная NVSwitch-фабрика достигает 130 ТБ/с. Именно поэтому потеря rack-locality так дорого обходится.