LightMem: Generación Aumentada de Memoria Ligera y Eficiente
LightMem: Lightweight and Efficient Memory-Augmented Generation
October 21, 2025
Autores: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang
cs.AI
Resumen
A pesar de sus capacidades notables, los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) enfrentan dificultades para aprovechar de manera efectiva la información de interacciones históricas en entornos dinámicos y complejos. Los sistemas de memoria permiten que los LLMs superen las interacciones sin estado al introducir mecanismos de almacenamiento, recuperación y utilización de información persistente. Sin embargo, los sistemas de memoria existentes suelen introducir un sobrecosto significativo en tiempo y recursos computacionales. Con este fin, presentamos un nuevo sistema de memoria llamado LightMem, que equilibra el rendimiento y la eficiencia de los sistemas de memoria. Inspirado en el modelo de memoria humana de Atkinson-Shiffrin, LightMem organiza la memoria en tres etapas complementarias. En primer lugar, la memoria sensorial inspirada en la cognición filtra rápidamente la información irrelevante mediante compresión ligera y agrupa la información según sus temas. A continuación, la memoria a corto plazo consciente de los temas consolida estos grupos temáticos, organizando y resumiendo el contenido para un acceso más estructurado. Finalmente, la memoria a largo plazo con actualización durante el sueño emplea un procedimiento fuera de línea que desacopla la consolidación de la inferencia en línea. Los experimentos en LongMemEval con arquitecturas GPT y Qwen muestran que LightMem supera a los baselines fuertes en precisión (hasta un 10.9% de mejora) mientras reduce el uso de tokens hasta 117 veces, las llamadas API hasta 159 veces y el tiempo de ejecución en más de 12 veces. El código está disponible en https://github.com/zjunlp/LightMem.
English
Despite their remarkable capabilities, Large Language Models (LLMs) struggle
to effectively leverage historical interaction information in dynamic and
complex environments. Memory systems enable LLMs to move beyond stateless
interactions by introducing persistent information storage, retrieval, and
utilization mechanisms. However, existing memory systems often introduce
substantial time and computational overhead. To this end, we introduce a new
memory system called LightMem, which strikes a balance between the performance
and efficiency of memory systems. Inspired by the Atkinson-Shiffrin model of
human memory, LightMem organizes memory into three complementary stages. First,
cognition-inspired sensory memory rapidly filters irrelevant information
through lightweight compression and groups information according to their
topics. Next, topic-aware short-term memory consolidates these topic-based
groups, organizing and summarizing content for more structured access. Finally,
long-term memory with sleep-time update employs an offline procedure that
decouples consolidation from online inference. Experiments on LongMemEval with
GPT and Qwen backbones show that LightMem outperforms strong baselines in
accuracy (up to 10.9% gains) while reducing token usage by up to 117x, API
calls by up to 159x, and runtime by over 12x. The code is available at
https://github.com/zjunlp/LightMem.