LightMem: Легковесный и эффективный метод генерации с использованием памяти
LightMem: Lightweight and Efficient Memory-Augmented Generation
October 21, 2025
Авторы: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang
cs.AI
Аннотация
Несмотря на их впечатляющие возможности, крупные языковые модели (LLM) испытывают трудности с эффективным использованием информации из предыдущих взаимодействий в динамичных и сложных средах. Системы памяти позволяют LLM выйти за рамки статичных взаимодействий, вводя механизмы постоянного хранения, извлечения и использования информации. Однако существующие системы памяти часто приводят к значительным временным и вычислительным затратам. В связи с этим мы представляем новую систему памяти под названием LightMem, которая находит баланс между производительностью и эффективностью систем памяти. Вдохновленная моделью человеческой памяти Аткинсона-Шиффрина, LightMem организует память в три взаимодополняющих этапа. Во-первых, сенсорная память, вдохновленная когнитивными процессами, быстро фильтрует нерелевантную информацию с помощью легковесного сжатия и группирует данные по темам. Затем, кратковременная память с учетом тематики консолидирует эти тематические группы, организуя и суммируя содержимое для более структурированного доступа. Наконец, долговременная память с обновлением в режиме сна использует автономный процесс, который отделяет консолидацию от онлайн-вывода. Эксперименты на LongMemEval с использованием моделей GPT и Qwen показывают, что LightMem превосходит сильные базовые подходы по точности (улучшение до 10,9%) при этом сокращая использование токенов до 117 раз, количество API-вызовов до 159 раз и время выполнения более чем в 12 раз. Код доступен по адресу https://github.com/zjunlp/LightMem.
English
Despite their remarkable capabilities, Large Language Models (LLMs) struggle
to effectively leverage historical interaction information in dynamic and
complex environments. Memory systems enable LLMs to move beyond stateless
interactions by introducing persistent information storage, retrieval, and
utilization mechanisms. However, existing memory systems often introduce
substantial time and computational overhead. To this end, we introduce a new
memory system called LightMem, which strikes a balance between the performance
and efficiency of memory systems. Inspired by the Atkinson-Shiffrin model of
human memory, LightMem organizes memory into three complementary stages. First,
cognition-inspired sensory memory rapidly filters irrelevant information
through lightweight compression and groups information according to their
topics. Next, topic-aware short-term memory consolidates these topic-based
groups, organizing and summarizing content for more structured access. Finally,
long-term memory with sleep-time update employs an offline procedure that
decouples consolidation from online inference. Experiments on LongMemEval with
GPT and Qwen backbones show that LightMem outperforms strong baselines in
accuracy (up to 10.9% gains) while reducing token usage by up to 117x, API
calls by up to 159x, and runtime by over 12x. The code is available at
https://github.com/zjunlp/LightMem.