Серверы NVIDIA нового поколения Rubin греются сильнее, чем вода в джакузи. Температура охлаждающей жидкости достигает 45 °C (113 °F). Но это не проблема, а суперсила.
Rubin — первая платформа NVIDIA со 100% жидкостным охлаждением. Ни одного вентилятора во всей системе. Каждый чип и каждый сетевой компонент омывается жидкостью в замкнутом контуре. Этот подход описан в дизайне NVIDIA DSX для «AI-фабрик». Раньше охлаждение съедало до 40% электроэнергии дата-центра. Жидкостная система резко сокращает эти расходы.
Али Хейдари из NVIDIA говорит, что их конструкция вообще не потребляет воду — замкнутый контур с сухими градирнями. Холодильные установки включаются разве что в самую жару, и то не каждый год. Для сравнения: обычная система с градирнями сливает около 2,6 миллиона галлонов воды на мегаватт в год. У NVIDIA — ноль.
Почему это важно? Чем выше температура теплоносителя, тем легче сбросить тепло на улицу. Если поднять температуру чиллера на один градус, затраты на энергию для охлаждения падают на 4%. Для дата-центра на 50 мегаватт это экономия более $4 млн в год. В тёплом климате холодильники могут работать всего несколько дней в году. В холодном — не нужны вовсе.
Есть устойчивый миф: «холодный дата-центр — эффективный». Враньё. Процессоры спокойно переваривают высокие температуры. Жидкость входит в чип при 45 °C, выходит при 55 °C, забирая тепло. Производительность не падает. Внутри стоят холодные пластины, которые держат температуру в допуске.
Визуально Rubin-серверы отличаются сразу: у них глухие лицевые панели, без дырочек для продува. Никаких холодных и горячих коридоров. Никакого шума в 85 децибел, от которого нужны наушники. Система, которая раньше занимала шесть стоечных единиц, теперь влезает в две. Больше вычислений на меньше места.
Мотивар (подразделение Schneider Electric) работает с NVIDIA почти десять лет. Его глава Ричард Уитмор говорит: как только энергопотребление на чип перешагнуло порог, воздушное охлаждение просто перестало работать. Жидкостное стало обязательным.
Оставшееся тепло можно отдавать на отопление соседних офисов и домов.