Mesh LLM — это система, которая превращает разрозненные GPU (в офисе, в кладовке, под столом) в единый вычислительный кластер. Всё работает как один OpenAI-совместимый API. Запустил один узел — работает. Добавил ещё — распределение автоматическое. Модель может выполняться локально, уйти на пира или размазаться по нескольким машинам, если не влезает в память одной.
Под капотом — mesh из iroh endpoints. Каждый узел получает идентичность в виде публичного ключа, центрального сервера нет. Связь — QUIC с защитой и пробоем NAT. Если напрямую не достучаться, два iroh релея в разных регионах подстрахуют fallback-каналом.
Запрос обрабатывается тремя способами: на своей GPU, пересылается пиру, у которого модель уже загружена, или разрезается на стадии — внутреннее название Skippy. Модель делится по диапазонам слоёв: слои 0–15 на одном узле, 16–31 на следующем и так далее. Активации передаются по pipeline. Клиент (любой OpenAI-совместимый) дёргает http://localhost:9337/v1 и вообще не в курсе, что модель размазана по сети.
Архитектура плагинная. Плагины описывают свои возможности в манифесте, рантайм запускает, роутит, выставляет наружу через MCP, HTTP, inference и mesh events. В каталоге уже больше 40 моделей — от полумиллиарда параметров (влезает на ноутбук) до 235B mixture-of-experts гигантов.
Транспорт строится на QUIC и трёх ALPN: mesh-llm/1 (основной mesh: gossip, роутинг, HTTP-туннели, plugin-каналы), mesh-llm-control/1 (управление — синхронизация конфигов, аттестация владельца), skippy-stage/2 (поток активаций для split-моделей — чувствителен к задержке). Внутри основного соединения всё — двунаправленные QUIC-стримы, помеченные одним байтом: 0x01 — gossip, 0x04 — HTTP-туннель для inference, 0x05 — запрос маршрута, 0x06 — нотификация о падении пира, 0x07 — graceful shutdown, 0x08 — plugin RPC, 0x0e — обмен прямыми адресами для NAT traversal.
Софт лёгкий — около 18 MB. Можно подключиться к публичному mesh или поднять приватную сеть. В разработке мобильное приложение на iroh Swift SDK, которое будет говорить по ACP — emerging agent standard, чтобы в mesh могли входить любые клиенты. Вся идея простая: больше peer-to-peer, меньше закрытых серверов, полное отсутствие vendor lock-in.