LightMem: Leichtgewichtige und effiziente speicheraugmentierte Generierung

LightMem: Lightweight and Efficient Memory-Augmented Generation

October 21, 2025

papers.authors: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang

cs.AI

papers.abstract

Trotz ihrer bemerkenswerten Fähigkeiten haben Large Language Models (LLMs) Schwierigkeiten, historische Interaktionsinformationen in dynamischen und komplexen Umgebungen effektiv zu nutzen. Speichersysteme ermöglichen es LLMs, über zustandslose Interaktionen hinauszugehen, indem sie persistente Informationsspeicherung, -abruf und -nutzung einführen. Allerdings führen bestehende Speichersysteme oft erheblichen Zeit- und Rechenaufwand mit sich. Daher stellen wir ein neues Speichersystem namens LightMem vor, das eine Balance zwischen der Leistung und Effizienz von Speichersystemen schafft. Inspiriert vom Atkinson-Shiffrin-Modell des menschlichen Gedächtnisses organisiert LightMem den Speicher in drei komplementäre Stufen. Zunächst filtert der kognitionsinspirierte sensorische Speicher irrelevante Informationen durch leichte Kompression schnell aus und gruppiert Informationen nach ihren Themen. Anschließend konsolidiert der themenbewusste Kurzzeitspeicher diese themenbasierten Gruppen, organisiert und fasst Inhalte für einen strukturierteren Zugriff zusammen. Schließlich verwendet der Langzeitspeicher mit Schlafzeit-Aktualisierung ein Offline-Verfahren, das die Konsolidierung vom Online-Inferenzprozess entkoppelt. Experimente auf LongMemEval mit GPT- und Qwen-Backbones zeigen, dass LightMem starke Baselines in der Genauigkeit (bis zu 10,9 % Verbesserung) übertrifft, während der Token-Verbrauch um bis zu 117x, API-Aufrufe um bis zu 159x und die Laufzeit um über 12x reduziert werden. Der Code ist unter https://github.com/zjunlp/LightMem verfügbar.

English

Despite their remarkable capabilities, Large Language Models (LLMs) struggle to effectively leverage historical interaction information in dynamic and complex environments. Memory systems enable LLMs to move beyond stateless interactions by introducing persistent information storage, retrieval, and utilization mechanisms. However, existing memory systems often introduce substantial time and computational overhead. To this end, we introduce a new memory system called LightMem, which strikes a balance between the performance and efficiency of memory systems. Inspired by the Atkinson-Shiffrin model of human memory, LightMem organizes memory into three complementary stages. First, cognition-inspired sensory memory rapidly filters irrelevant information through lightweight compression and groups information according to their topics. Next, topic-aware short-term memory consolidates these topic-based groups, organizing and summarizing content for more structured access. Finally, long-term memory with sleep-time update employs an offline procedure that decouples consolidation from online inference. Experiments on LongMemEval with GPT and Qwen backbones show that LightMem outperforms strong baselines in accuracy (up to 10.9% gains) while reducing token usage by up to 117x, API calls by up to 159x, and runtime by over 12x. The code is available at https://github.com/zjunlp/LightMem.