Исследователи представили Memorilla — систему латентной семантической памяти для больших языковых моделей. Она помогает замороженной LLM использовать прошлые разговоры, длинные документы и предыдущие действия агента, не помещая весь исходный материал в контекстное окно. Работа опубликована на arXiv; третья версия появилась 3 ноября 2026 года.
Обычно внешняя память передаёт модели только то, что поисковая система успела отобрать для конкретного запроса. При этом важные сведения могут находиться в разных документах, а полный контекст быстро становится слишком длинным. Memorilla один раз кодирует документы в повторно используемые embeddings. Для нового запроса обучаемый механизм извлекает и объединяет нужные сведения, размещая их непосредственно в пространстве входных embeddings LLM в виде фиксированного набора memory tokens.
В экспериментах использовались всего 16 таких токенов. Memorilla показала лучший результат среди сравниваемых подходов, включая Mem0 и MemoRAG, на пяти из восьми наборов данных. Они охватывали персонализацию, ответы на вопросы по длинным документам и задачи, требующие интенсивного использования знаний.
На наборе FactKG точность Memorilla составила 84,33%, тогда как передача полного контекста дала 80,43%. При этом для представления исходных документов понадобилось в 108 раз меньше токенов. Этот результат показывает, что сжатое представление способно не только сократить вход, но и улучшить выбор значимой информации в конкретной задаче.
Отдельный эксперимент проверил накопление опыта агентом в TextWorld. По мере прохождения количество документов, которыми становились предыдущие ходы, увеличивалось. Memorilla снижала склонность агента снова бродить по уже исследованным комнатам. Средняя доля успешных прохождений выросла с 18,6% при использовании полной истории в контексте до 24,2%.
Авторы рассматривают систему как шаг к непрерывно обучающимся AI-агентам: сама языковая модель остаётся неизменной, а новый опыт накапливается во внешнем представлении и подаётся через компактные зависимые от запроса токены.