Google Research представила sleep framework для continual learning — периодический жизненный цикл, в котором LLM чередует активное взаимодействие и офлайн-консолидацию памяти. Цель состоит в том, чтобы пополнять параметры новыми знаниями без жёсткого knowledge cutoff и catastrophic forgetting, когда обучение новой задаче разрушает ранее усвоенные навыки. In-context learning решает проблему лишь временно: после завершения контекста сведения исчезают.
Во время wake-фазы модель принимает входы и сохраняет временную информацию в быстрых краткосрочных компонентах. Во время sleep новые запросы прекращаются, а вычисления направляются на консолидацию и self-improvement. Несмотря на нейробиологическую терминологию, это фиксированная архитектура и заранее заданные правила обучения, а не модель человеческого сна.
Консолидация использует Mixture-of-Experts и архитектуру Hope. Во время отдыха открываются заранее выделенные low-rank experts в более стабильных низкочастотных memory blocks. Generalized Knowledge Distillation и RL-imitation переносят краткосрочные сведения в эти параметры: on-policy distillation обучает student распределениям teacher на собственных последовательностях, а Learning to Imitate поощряет семантическую и абсолютную близость через Levenshtein distance. Затем временные высокочастотные параметры сбрасываются для будущих сессий.
Стадия dreaming генерирует синтетические примеры. MoE-router случайно активирует нестандартных экспертов, смешивая области знаний. Gradient-based selection отбирает наиболее полезные samples, после чего модель проходит supervised fine-tuning и оценивается на downstream-задачах. Теоретическое обоснование рассматривает консолидацию как low-rank compression, а случайных экспертов и фильтрацию — как способ улучшить разнообразие и обусловленность градиентов.
В continual translation на ранее невидимых языках, включая Manchu и Kalamang, метод показал почти нулевое снижение в многоэтапных проверках, тогда как ICL, Cartridges и SFT страдали от сильного забывания. На BABILong авторы сообщают о почти идеальном масштабировании до 10 млн токенов и превосходстве над GPT-4 и Titans.
На SQuAD и continued pre-training Sleep получил 48,9% в single-task и 46,2% в CPT, опередив базовую модель, SFT и SEAL. На AIME 2024, AIME 2025 и HMMT 2025 результаты составили 79,2%, 69,0% и 46,1%, соответственно; авторами заявлено превосходство над SFT, GRPO и on-policy self-distillation.
Это результаты исследовательского прототипа от его авторов. Метод требует дополнительных параметров, офлайн-вычислений и генерации примеров, а публикация не показывает готовый механизм автономного обновления любой deployed LLM.