LightMem: Generazione Aumentata dalla Memoria Leggera ed Efficiente

LightMem: Lightweight and Efficient Memory-Augmented Generation

October 21, 2025

Autori: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang

cs.AI

Abstract

Nonostante le loro notevoli capacità, i Large Language Model (LLM) faticano a sfruttare efficacemente le informazioni storiche delle interazioni in ambienti dinamici e complessi. I sistemi di memoria consentono ai LLM di andare oltre le interazioni senza stato introducendo meccanismi di archiviazione, recupero e utilizzo persistenti delle informazioni. Tuttavia, i sistemi di memoria esistenti spesso introducono un significativo sovraccarico temporale e computazionale. A tal fine, introduciamo un nuovo sistema di memoria chiamato LightMem, che bilancia prestazioni ed efficienza dei sistemi di memoria. Ispirato dal modello di memoria umana di Atkinson-Shiffrin, LightMem organizza la memoria in tre fasi complementari. Innanzitutto, la memoria sensoriale ispirata alla cognizione filtra rapidamente le informazioni irrilevanti attraverso una compressione leggera e raggruppa le informazioni in base ai loro argomenti. Successivamente, la memoria a breve termine consapevole degli argomenti consolida questi gruppi tematici, organizzando e riassumendo i contenuti per un accesso più strutturato. Infine, la memoria a lungo termine con aggiornamento notturno utilizza una procedura offline che disaccoppia il consolidamento dall'inferenza online. Esperimenti su LongMemEval con backbone GPT e Qwen dimostrano che LightMem supera i forti baseline in termini di accuratezza (con guadagni fino al 10,9%) riducendo l'uso di token fino a 117 volte, le chiamate API fino a 159 volte e il tempo di esecuzione di oltre 12 volte. Il codice è disponibile all'indirizzo https://github.com/zjunlp/LightMem.

English

Despite their remarkable capabilities, Large Language Models (LLMs) struggle to effectively leverage historical interaction information in dynamic and complex environments. Memory systems enable LLMs to move beyond stateless interactions by introducing persistent information storage, retrieval, and utilization mechanisms. However, existing memory systems often introduce substantial time and computational overhead. To this end, we introduce a new memory system called LightMem, which strikes a balance between the performance and efficiency of memory systems. Inspired by the Atkinson-Shiffrin model of human memory, LightMem organizes memory into three complementary stages. First, cognition-inspired sensory memory rapidly filters irrelevant information through lightweight compression and groups information according to their topics. Next, topic-aware short-term memory consolidates these topic-based groups, organizing and summarizing content for more structured access. Finally, long-term memory with sleep-time update employs an offline procedure that decouples consolidation from online inference. Experiments on LongMemEval with GPT and Qwen backbones show that LightMem outperforms strong baselines in accuracy (up to 10.9% gains) while reducing token usage by up to 117x, API calls by up to 159x, and runtime by over 12x. The code is available at https://github.com/zjunlp/LightMem.