В 2024 году разработчик уволился из FAANG, чтобы стать независимым исследователем. Для работы ему понадобились GPU, и он собрал собственный сервер "grumbl" (название получилось из-за того, что он не умеет правильно писать "GPUs"). Внутри — шесть карт RTX 6000 Ada. Вся сборка обошлась в $48 000. Дорого, но автор рассудил так: потеря дохода от увольнения гораздо серьёзнее, и если мощный сервер поможет закончить проект на два месяца раньше, чем слабая машина, то затраты оправданы.
Выбирая между A100, H100 и RTX 6000 Ada, автор отбросил A100 из-за отсутствия FP8 и медленного инференса. Остановился на 6000 Ada — у них лучшее соотношение цены и производительности.
Главная проблема — питание в квартире. Шесть GPU не тянет одна линия, поэтому пришлось использовать два блока питания, включённые в разные розетки на разных цепях. В интернете полно предупреждений, что такие схемы пожароопасны, поэтому автор нанял профессионального сборщика. Ирония судьбы: в итоге сервер переехал в подвал родителей, где можно было спокойно модернизировать проводку.
Автор сравнил владение сервером с арендой GPU в облаке. Он написал скрипт, который каждую минуту логировал загрузку каждой карты и потребление энергии. За всё время средняя утилизация составила 76% (с начала 2025 года — 85%). Автор надеялся на 95% и немного разочарован. Электричество обошлось примерно в $3000 ($125 в месяц). По расчётам на 13 марта 2026 года, аренда эквивалентных мощностей в облаке стоила бы $68 000. То есть сервер окупился, и автор сэкономил $17 000. Сейчас экономит $90–105 в день.
Главная цель сборки была не в деньгах, а в возможности быстро проводить рискованные эксперименты. Автор признаётся, что много раз терпел неудачи, но в итоге решил серьёзную проблему LLM. Релиз проекта — в следующий понедельник.
Советы: не повторять такой путь без острой необходимости. Из-за ограничений по питанию пришлось взять материнскую плату с медленным GPU interconnect — это хорошо для параллельных мелких экспериментов, но ужасно для моделей, распределённых между картами. Ошибки чаще всего были из-за райзеров. Автор признаёт, что в следующий раз взял бы стандартный дата-центровый сервер и арендовал место в колокейшене. Но тогда он бы не мог иногда заходить и здороваться с grumbl.