LightMem: Lichtgewicht en efficiënte geheugen-augmentatie generatie

LightMem: Lightweight and Efficient Memory-Augmented Generation

October 21, 2025

Auteurs: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang

cs.AI

Samenvatting

Ondanks hun opmerkelijke capaciteiten hebben Large Language Models (LLMs) moeite om historische interactie-informatie effectief te benutten in dynamische en complexe omgevingen. Geheugensystemen stellen LLMs in staat om verder te gaan dan stateless interacties door het introduceren van mechanismen voor persistente informatieopslag, -opvraging en -gebruik. Bestaande geheugensystemen brengen echter vaak aanzienlijke tijd- en rekenkosten met zich mee. Daarom introduceren we een nieuw geheugensysteem genaamd LightMem, dat een balans vindt tussen de prestaties en efficiëntie van geheugensystemen. Geïnspireerd door het Atkinson-Shiffrin-model van het menselijk geheugen, organiseert LightMem het geheugen in drie complementaire fasen. Ten eerste filtert het op cognitie geïnspireerde sensorische geheugen irrelevante informatie snel uit door middel van lichtgewicht compressie en groepeert het informatie op basis van hun onderwerpen. Vervolgens consolideert het onderwerpbewuste kortetermijngeheugen deze op onderwerp gebaseerde groepen, waarbij het inhoud organiseert en samenvat voor gestructureerdere toegang. Tot slot gebruikt het langetermijngeheugen met slaaptijd-update een offline procedure die consolidatie ontkoppelt van online inferentie. Experimenten op LongMemEval met GPT- en Qwen-backbones laten zien dat LightMem sterke baseline-methoden overtreft in nauwkeurigheid (tot 10,9% winst) terwijl het tokengebruik tot 117x, API-aanroepen tot 159x en de looptijd met meer dan 12x reduceert. De code is beschikbaar op https://github.com/zjunlp/LightMem.

English

Despite their remarkable capabilities, Large Language Models (LLMs) struggle to effectively leverage historical interaction information in dynamic and complex environments. Memory systems enable LLMs to move beyond stateless interactions by introducing persistent information storage, retrieval, and utilization mechanisms. However, existing memory systems often introduce substantial time and computational overhead. To this end, we introduce a new memory system called LightMem, which strikes a balance between the performance and efficiency of memory systems. Inspired by the Atkinson-Shiffrin model of human memory, LightMem organizes memory into three complementary stages. First, cognition-inspired sensory memory rapidly filters irrelevant information through lightweight compression and groups information according to their topics. Next, topic-aware short-term memory consolidates these topic-based groups, organizing and summarizing content for more structured access. Finally, long-term memory with sleep-time update employs an offline procedure that decouples consolidation from online inference. Experiments on LongMemEval with GPT and Qwen backbones show that LightMem outperforms strong baselines in accuracy (up to 10.9% gains) while reducing token usage by up to 117x, API calls by up to 159x, and runtime by over 12x. The code is available at https://github.com/zjunlp/LightMem.