Разработчик из Modal поделился неожиданным опытом: впервые запустив открытую модель на собственном инференс-эндпоинте, он испытал странное чувство освобождения. До этого он два года пользовался Claude и ChatGPT как обычный человек и никогда не был фанатом открытого ПО. Но стоило развернуть всё у себя — и ощущения оказались совсем другими. «Мои данные просто идут с ноутбука на мой эндпоинт и обратно. Это моё. И это действительно приятно», — описывает он.
Повод попробовать подвернулся после работы. Парень хотел вечером взяться за небольшой пет-проект, но подписка на лучшие планы Claude и ChatGPT на личном аккаунте была скромной. А в Modal как раз запустили Kimi K3 на managed endpoints — он знал, что модель добротная. Вклад в разработку этого фичи он не вносил, поэтому захотел сам всё пощупать, не апгрейдя подписку.
Дальше всё завертелось за пять минут: он поднял свой эндпоинт на Modal и натравил на него opencode. И тут его накрыло — не пустота опустошения, а какая-то чистая, невесомая пустота, которую он сравнивает с открытием vim после долгого сидения в громоздком комбайне-редакторе. Появилось чувство, что щупальца, привязывавшие его к сторонним провайдерам, обрублены, и можно дышать свободно. Он признаёт, что звучит чуточку драматично, но почти не преувеличивает — настолько неожиданным оказался эффект. Именно эта внезапная лёгкость и заставила написать заметку.