WASTE — движок инференса на чистом C без внешних зависимостей — запускает полную модель Kimi K3 с 2.78 триллиона параметров на обычном MacBook Pro M5 Pro с 64 ГБ RAM. Контейнер модели весит 982 GiB и лежит на внутреннем NVMe, но в память он целиком не грузится: ствол (27.28 ГБ) остаётся резидентым, а эксперты потоково читаются с диска по одному read’у на эксперта. Оставшаяся RAM уходит под ограниченный кэш экспертов, и именно он определяет, попадёт ли движок в рабочий диапазон.
На запрос «What is the capital of Italy?» WASTE ответил за 31 секунду — 16 токенов со скоростью 0.51 tok/s, при этом кэш экспертов попал лишь в 14% случаев. Это не дистиллят и не урезанный вариант: каждая цифра снята на опубликованном коммите. При 46 ГБ бюджета (кэш 17.56 ГБ) hit rate держится около 13%, и движок выдаёт 0.49–0.54 tok/s. Если дать больше — 52 ГБ и выше — начинается своп, и скорость обваливается до 0.04 tok/s при формально выросшем hit rate 37%. Окно жизни на этой машине ровно одно: от 46 до 52 ГБ, дальше OS забирает память обратно.
Тот же движок и тот же формат работают с Kimi-Linear-48B-A3B-Instruct: контейнер 19 GiB, пол гигабайта RAM, скорость 10.7 tok/s. WASTE не зависит от BLAS, CUDA, Python в рантайме — только libc и pthreads. Публичное API умещается в 26 функций, а поверх собран сервер, совместимый с OpenAI.
Модель использует mixture of experts: на каждый токен активируется около 4% параметров. Эксперты хранятся с 3-битным residual vector quantization и никогда не материализуются в полную матрицу. Каждый эксперт читается одним pread’ом, минуя page cache. Правильность выверена до 3.6e-06 расхождения с PyTorch-референсом.
Сборка — просто make в клонированном репозитории github.com/sqliteai/waste. Конвертация из исходных 1.42 TB весов требует Python и пары часов, но сам инференс — голая libwaste.a. Проект впервые показывает, что модель frontier-класса можно запустить на потребительском железе без сети и без счётчика за токен.