OpenAI представила свой первый собственный чип для инференса — он называется Jalapeño. Процессор разработан в партнёрстве с Broadcom. OpenAI утверждает, что их же ИИ-модели помогали в проектировании микросхемы.
Jalapeño пока на стадии тестирования, но первые замеры показывают значительно лучшую производительность на ватт, чем у текущих альтернатив. Чип затачивали под конкретные нужды инференса — то есть под выполнение уже обученных моделей по командам пользователей. Компания отдельно подчеркнула низкую операционную стоимость чипа при работе real-time моделей кода. Более тяжёлые задачи вроде pre-training, скорее всего, всё ещё будут полагаться на железо Nvidia, но даже небольшое снижение затрат на инференс серьёзно улучшает финансовые показатели.
Это часть давней стратегии OpenAI по снижению зависимости от GPU Nvidia. Google и Amazon уже строят собственные кастомные чипы-ускорители для ML-нагрузок. Президент OpenAI Грег Брокман объяснял подход компании так: у них глубокое понимание своих рабочих нагрузок, и они ищут конкретные, недостаточно обеспеченные задачи, чтобы ускорить то, что возможно.
OpenAI объясняет логику просто: компания не только разрабатывает frontier-модели и продукты на их основе (вроде Codex или агентских систем), но и строит дата-центры. Теперь она проектирует чипы, ядра, системы памяти, сети, планировщики, системы деплоя. «Поскольку OpenAI работает на всём стеке, каждый слой можно оптимизировать под одну цель — делать модели быстрее, надёжнее и дешевле для пользователей», — заявили в компании. Оптимизация всей цепочки — от архитектуры чипа до пользовательского опыта — вероятно, станет ключевым фактором в экономике ИИ в ближайшие годы.