UMEM: Einheitliches Framework zur Speicherauslesung und -verwaltung für generalisierbaren Speicher
UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory
February 11, 2026
papers.authors: Yongshi Ye, Hui Jiang, Feihu Jiang, Tian Lan, Yichao Du, Biao Fu, Xiaodong Shi, Qianghuai Jia, Longyue Wang, Weihua Luo
cs.AI
papers.abstract
Selbst-evolvierender Speicher dient als trainierbare Parameter für auf großen Sprachmodellen (LLMs) basierende Agenten, wobei Extraktion (das Destillieren von Erkenntnissen aus Erfahrungen) und Verwaltung (die Aktualisierung des Speicherbestands) eng koordiniert werden müssen. Bestehende Methoden optimieren vorwiegend die Speicherverwaltung, behandeln die Speicherextraktion jedoch als statischen Prozess, was zu einer schlechten Generalisierung führt, bei der Agenten instanzspezifisches Rauschen anstatt robuster Erinnerungen ansammeln. Um dies zu adressieren, schlagen wir Unified Memory Extraction and Management (UMEM) vor, einen selbst-evolvierenden Agentenrahmen, der ein großes Sprachmodell gemeinsam optimiert, um Erinnerungen simultan zu extrahieren und zu verwalten. Um eine Überanpassung an spezifische Instanzen zu mildern, führen wir Semantic Neighborhood Modeling ein und optimieren das Modell mit einem nachbarschaftsbasierten Grenznutzen-Reward mittels GRPO. Dieser Ansatz sichert die Generalisierbarkeit des Speichers, indem der Speichernutzen über Cluster semantisch verwandter Abfragen hinweg bewertet wird. Umfangreiche Experimente über fünf Benchmarks zeigen, dass UMEM hochgradig wettbewerbsfähige Baselines signifikant übertrifft und eine Verbesserung von bis zu 10,67 % in mehrstufigen interaktiven Aufgaben erreicht. Darüber hinaus weist UMEM während der kontinuierlichen Evolution eine monoton wachsende Kurve auf. Codes und Modelle werden öffentlich zugänglich gemacht.
English
Self-evolving memory serves as the trainable parameters for Large Language Models (LLMs)-based agents, where extraction (distilling insights from experience) and management (updating the memory bank) must be tightly coordinated. Existing methods predominately optimize memory management while treating memory extraction as a static process, resulting in poor generalization, where agents accumulate instance-specific noise rather than robust memories. To address this, we propose Unified Memory Extraction and Management (UMEM), a self-evolving agent framework that jointly optimizes a Large Language Model to simultaneous extract and manage memories. To mitigate overfitting to specific instances, we introduce Semantic Neighborhood Modeling and optimize the model with a neighborhood-level marginal utility reward via GRPO. This approach ensures memory generalizability by evaluating memory utility across clusters of semantically related queries. Extensive experiments across five benchmarks demonstrate that UMEM significantly outperforms highly competitive baselines, achieving up to a 10.67% improvement in multi-turn interactive tasks. Futhermore, UMEM maintains a monotonic growth curve during continuous evolution. Codes and models will be publicly released.