Baidu выпустила ERNIE-5.5-Flash-Base — открытую базовую модель для дальнейшего обучения. Это sparse Mixture-of-Experts со 280 млрд общих и 14 млрд активных параметров на токен. Модель с нуля предобучена на 33,5 трлн токенов, контекст во время обучения достигал 128 тысяч, а fine-tuning и inference поддерживают до миллиона токенов. Опубликован checkpoint сразу после pre-training, без mid-training и post-training, чтобы разработчики могли самостоятельно проводить domain adaptation, instruction tuning и исследования reinforcement learning.
Архитектура включает 43 Transformer-слоя, hidden size 4096 и 64 attention heads. Только шесть MLA-слоёв имеют token-level доступ ко всему удалённому контексту. Остальные 37 используют Heavily Compressed Attention: каждые 128 токенов превращаются в одну запись кеша, к которой добавляется окно недавнего несжатого текста. Полноразмерные MLA-слои применяют sparse attention DSA и выбирают top-k позиций, поэтому стоимость основного внимания на запрос не растёт вместе с длиной контекста. Baidu утверждает, что сочетание MLA и HCA превзошло вариант с CSA при сопоставимом KV-cache.
Все MoE-блоки, кроме первого слоя, содержат 512 routed experts с выбором top-10 и одного shared expert. Несколько независимых sigmoid-routers совместно выбирают специалистов: по результатам внутренних тестов Baidu, это лучше связывает маршрутизацию с реальной полезностью экспертов. Работа в сжатом latent-пространстве 2048 вместо 4096 примерно вдвое сокращает экспертные FLOPs и коммуникационный трафик.
Среди других решений — четыре остаточных потока mHC, выходная голова MultiMax с обучаемой кусочной температурой и ECHO вместо отдельного multi-token-prediction-модуля. ECHO использует последний слой основной модели для прогнозирования будущих токенов и одновременно служит draft-моделью для speculative decoding. Новый BPE-tokenizer имеет около 200 тысяч записей и разбивает числа справа налево группами до трёх цифр, выравнивая разряды.
Pre-training выполнялся с распределённым Muon и FP8 mixed precision. Корпус включал многоязычные веб-данные, длинные документы и репозиторный код вместе с commits, issues, pull requests, reviews, тестами и проверенными CI исправлениями. Для крупных attention heads разработано ядро FlashMask-4; на SM100 Baidu заявляет до 175% ускорения forward и до 74% backward относительно FlashAttention-4 MaskMod.
Веса доступны на Hugging Face в FP8 и BF16 под отдельной лицензией модели; поддерживаются Transformers, SGLang и vLLM. Baidu сообщает о сильных результатах на reasoning, code, exam и long-context benchmarks при одинаковой тестовой обвязке с тремя базовыми моделями сопоставимого размера, но публикация содержит прежде всего оценку самого разработчика. Post-trained ERNIE 5.5 Flash ожидается позднее.