UMEM: Uniform Geheugen Extractie- en Beheerframework voor Generaliseerbaar Geheugen
UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory
February 11, 2026
Auteurs: Yongshi Ye, Hui Jiang, Feihu Jiang, Tian Lan, Yichao Du, Biao Fu, Xiaodong Shi, Qianghuai Jia, Longyue Wang, Weihua Luo
cs.AI
Samenvatting
Zelf-evoluerend geheugen fungeert als de trainbare parameters voor op grote taalmodellen (LLM's) gebaseerde agents, waarbij extractie (het distilleren van inzichten uit ervaring) en beheer (het bijwerken van de geheugenbank) nauw gecoördineerd moeten worden. Bestaande methoden optimaliseren voornamelijk geheugenbeheer, terwijl geheugenextractie als een statisch proces wordt behandeld, wat leidt tot slechte generalisatie: agents accumuleren instancespecifieke ruis in plaats van robuuste herinneringen. Om dit aan te pakken, stellen wij Unified Memory Extraction and Management (UMEM) voor, een zelf-evoluerend agentraamwerk dat gezamenlijk een groot taalmodel optimaliseert om gelijktijdig herinneringen te extraheren en te beheren. Om overfitting aan specifieke instanties tegen te gaan, introduceren wij Semantic Neighborhood Modeling en optimaliseren we het model met een beloning gebaseerd op marginale nut op buurtniveau via GRPO. Deze aanpak waarborgt de generaliseerbaarheid van het geheugen door de bruikbaarheid van herinneringen te evalueren over clusters van semantisch verwante queries. Uitgebreide experimenten over vijf benchmarks tonen aan dat UMEM aanzienlijk beter presteert dan zeer competitieve baselines, met een verbetering tot 10,67% in multi-turn interactieve taken. Bovendien handhaaft UMEM een monotoon groeipatroon tijdens continue evolutie. Code en modellen zullen openbaar worden vrijgegeven.
English
Self-evolving memory serves as the trainable parameters for Large Language Models (LLMs)-based agents, where extraction (distilling insights from experience) and management (updating the memory bank) must be tightly coordinated. Existing methods predominately optimize memory management while treating memory extraction as a static process, resulting in poor generalization, where agents accumulate instance-specific noise rather than robust memories. To address this, we propose Unified Memory Extraction and Management (UMEM), a self-evolving agent framework that jointly optimizes a Large Language Model to simultaneous extract and manage memories. To mitigate overfitting to specific instances, we introduce Semantic Neighborhood Modeling and optimize the model with a neighborhood-level marginal utility reward via GRPO. This approach ensures memory generalizability by evaluating memory utility across clusters of semantically related queries. Extensive experiments across five benchmarks demonstrate that UMEM significantly outperforms highly competitive baselines, achieving up to a 10.67% improvement in multi-turn interactive tasks. Futhermore, UMEM maintains a monotonic growth curve during continuous evolution. Codes and models will be publicly released.