Немецкий исследовательский консорциум во главе с KI Bundesverband выпустил открытую языковую модель Soofi S 30B-A3B. Она набрала высшие баллы среди полностью открытых моделей как на английских, так и на немецких бенчмарках, обогнав OLMo 3 32B от Allen Institute и Apertus 70B от ETH Zurich и EPFL. Архитектура — mixture-of-experts: 31,6 млрд параметров, но активны только около 3,2 млрд на токен. По вычислительным затратам это ближе к 3B-модели, чем к 30B.
Консорциум взял за основу архитектуру Nvidia Nemotron 3 Nano без изменений — гибрид Mamba-2 со стандартными слоями attention. Ключевое отличие от обычных трансформеров — KV cache растёт только для 6 из 52 слоёв. На длине контекста 40 000 токенов при 32 параллельных запросах Soofi S генерирует примерно в восемь раз больше токенов в секунду на GPU, чем dense-модели в диапазоне 14–24 млрд параметров. Единственная модель с похожим поведением — Alibaba Qwen3.5 35B-A3B, тоже гибридная.
Обучение прошло на 27 трлн токенов в три фазы. Первая — 20 трлн токенов из общей смеси веба, кода, математики. Вторая — 6 трлн токенов из более качественных источников, где доля немецкого выросла до 15,3% (против ~5% для всех неанглийских языков в рецепте Nvidia). Третья фаза расширяла контекст до миллиона токенов. Среди источников — немецкий веб HPLT, корпус German Commons, FinePDFs, FineWiki и коммерческий корпус Genios (193 млн статей из 916 немецких изданий). Машинный перевод и синтетика дополнили картину.
На бенчмарках Soofi S лидирует среди открытых моделей, включая HumanEval (73,8%), MBPP (70,2%) и немецкую версию MBPP (84,2%). На INCLUDE-DE (региональное знание Германии) делит первое место с Qwen3.5 35B-A3B (61,2 балла). Улучшение по сравнению с Nemotron за счёт немецких данных: +15,1 балла на языковых тестах и +9,6 на GPQA-Diamond — без потерь в английском. Слабые места — немецкая олимпиадная математика (56 баллов на Minerva MATH-DE против 76,5 у Qwen3.5) и фактологическая память (NaturalQuestions) из-за малого числа активных параметров. На тесте RULER при извлечении частых слов за контекстом в 32K токенов hit-rate падает до 3% — проблема в отсутствии синтетических данных для таких задач.
Обучение шло с марта по май на 512 Nvidia B200 в Deutsche Telekom's Industrial AI Cloud в Мюнхене, всего ~253 000 GPU-hours. Центр работает на возобновляемой энергии, охлаждается водой из канала Айсбах, а сбросное тепло идёт на обогрев района Тюхерпарк. Консорциум включает Fraunhofer IAIS и IIS, DFKI, TU Darmstadt, Университет Вюрцбурга, L3S, Берлинский университет прикладных наук, а также AI-компании Ellamind и Merantix Momentum. Проект финансируется минэкономики ФРГ в рамках европейской программы IPCEI-CIS.
Исследователи выложили веса модели и промежуточные чекпоинты, полный код обучения и оценки, а также детальный дата-инвентарь с количеством токенов и эпох на источник. Soofi S соответствует Open Source AI Definition 1.0 от OSI. Более строгому европейскому определению открытых данных не удовлетворяет из-за 1,3% данных Genios с коммерческой лицензией — остальные 99% можно независимо воссоздать. Точная лицензия модели пока не утверждена. Консорциум ищет промышленных партнёров для тестирования модели на технических документах, генерации кода и агентных системах.