LightMem : Génération augmentée par mémoire légère et efficace
LightMem: Lightweight and Efficient Memory-Augmented Generation
October 21, 2025
papers.authors: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang
cs.AI
papers.abstract
Malgré leurs capacités remarquables, les modèles de langage à grande échelle (LLMs) peinent à exploiter efficacement les informations historiques d'interaction dans des environnements dynamiques et complexes. Les systèmes de mémoire permettent aux LLMs de dépasser les interactions sans état en introduisant des mécanismes de stockage, de récupération et d'utilisation persistants de l'information. Cependant, les systèmes de mémoire existants introduisent souvent des surcharges substantielles en temps et en calcul. À cette fin, nous introduisons un nouveau système de mémoire appelé LightMem, qui établit un équilibre entre la performance et l'efficacité des systèmes de mémoire. Inspiré par le modèle de mémoire humaine d'Atkinson-Shiffrin, LightMem organise la mémoire en trois étapes complémentaires. Premièrement, la mémoire sensorielle inspirée par la cognition filtre rapidement les informations non pertinentes grâce à une compression légère et regroupe les informations selon leurs sujets. Ensuite, la mémoire à court terme consciente des sujets consolide ces groupes thématiques, organisant et résumant le contenu pour un accès plus structuré. Enfin, la mémoire à long terme avec mise à jour pendant le sommeil utilise une procédure hors ligne qui découple la consolidation de l'inférence en ligne. Les expériences sur LongMemEval avec les architectures GPT et Qwen montrent que LightMem surpasse les bases de référence en termes de précision (gains allant jusqu'à 10,9 %) tout en réduisant l'utilisation de tokens jusqu'à 117 fois, les appels API jusqu'à 159 fois et le temps d'exécution de plus de 12 fois. Le code est disponible à l'adresse https://github.com/zjunlp/LightMem.
English
Despite their remarkable capabilities, Large Language Models (LLMs) struggle
to effectively leverage historical interaction information in dynamic and
complex environments. Memory systems enable LLMs to move beyond stateless
interactions by introducing persistent information storage, retrieval, and
utilization mechanisms. However, existing memory systems often introduce
substantial time and computational overhead. To this end, we introduce a new
memory system called LightMem, which strikes a balance between the performance
and efficiency of memory systems. Inspired by the Atkinson-Shiffrin model of
human memory, LightMem organizes memory into three complementary stages. First,
cognition-inspired sensory memory rapidly filters irrelevant information
through lightweight compression and groups information according to their
topics. Next, topic-aware short-term memory consolidates these topic-based
groups, organizing and summarizing content for more structured access. Finally,
long-term memory with sleep-time update employs an offline procedure that
decouples consolidation from online inference. Experiments on LongMemEval with
GPT and Qwen backbones show that LightMem outperforms strong baselines in
accuracy (up to 10.9% gains) while reducing token usage by up to 117x, API
calls by up to 159x, and runtime by over 12x. The code is available at
https://github.com/zjunlp/LightMem.