LightMem: Geração Aumentada por Memória Leve e Eficiente
LightMem: Lightweight and Efficient Memory-Augmented Generation
October 21, 2025
Autores: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang
cs.AI
Resumo
Apesar de suas capacidades notáveis, os Modelos de Linguagem de Grande Escala (LLMs) enfrentam dificuldades para aproveitar efetivamente as informações de interações históricas em ambientes dinâmicos e complexos. Sistemas de memória permitem que os LLMs vão além de interações sem estado, introduzindo mecanismos de armazenamento, recuperação e utilização persistentes de informações. No entanto, os sistemas de memória existentes frequentemente introduzem sobrecargas significativas de tempo e computação. Para isso, apresentamos um novo sistema de memória chamado LightMem, que equilibra desempenho e eficiência nos sistemas de memória. Inspirado pelo modelo de memória humana de Atkinson-Shiffrin, o LightMem organiza a memória em três estágios complementares. Primeiro, a memória sensorial inspirada na cognição filtra rapidamente informações irrelevantes por meio de compressão leve e agrupa as informações de acordo com seus tópicos. Em seguida, a memória de curto prazo consciente do tópico consolida esses grupos baseados em tópicos, organizando e resumindo o conteúdo para um acesso mais estruturado. Por fim, a memória de longo prazo com atualização durante o sono emprega um procedimento offline que desacopla a consolidação da inferência online. Experimentos no LongMemEval com backbones GPT e Qwen mostram que o LightMem supera as linhas de base fortes em precisão (ganhos de até 10,9%) enquanto reduz o uso de tokens em até 117x, chamadas de API em até 159x e o tempo de execução em mais de 12x. O código está disponível em https://github.com/zjunlp/LightMem.
English
Despite their remarkable capabilities, Large Language Models (LLMs) struggle
to effectively leverage historical interaction information in dynamic and
complex environments. Memory systems enable LLMs to move beyond stateless
interactions by introducing persistent information storage, retrieval, and
utilization mechanisms. However, existing memory systems often introduce
substantial time and computational overhead. To this end, we introduce a new
memory system called LightMem, which strikes a balance between the performance
and efficiency of memory systems. Inspired by the Atkinson-Shiffrin model of
human memory, LightMem organizes memory into three complementary stages. First,
cognition-inspired sensory memory rapidly filters irrelevant information
through lightweight compression and groups information according to their
topics. Next, topic-aware short-term memory consolidates these topic-based
groups, organizing and summarizing content for more structured access. Finally,
long-term memory with sleep-time update employs an offline procedure that
decouples consolidation from online inference. Experiments on LongMemEval with
GPT and Qwen backbones show that LightMem outperforms strong baselines in
accuracy (up to 10.9% gains) while reducing token usage by up to 117x, API
calls by up to 159x, and runtime by over 12x. The code is available at
https://github.com/zjunlp/LightMem.