UMEM: Framework Unificato per l'Estrazione e la Gestione della Memoria per una Memoria Generalizzabile
UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory
February 11, 2026
Autori: Yongshi Ye, Hui Jiang, Feihu Jiang, Tian Lan, Yichao Du, Biao Fu, Xiaodong Shi, Qianghuai Jia, Longyue Wang, Weihua Luo
cs.AI
Abstract
La memoria auto-evolutiva funge da parametro addestrabile per agenti basati su Large Language Model (LLM), dove l'estrazione (distillare insight dall'esperienza) e la gestione (aggiornare il repository di memoria) devono essere strettamente coordinate. I metodi esistenti ottimizzano prevalentemente la gestione della memoria trattando l'estrazione come un processo statico, con conseguente scarsa generalizzazione, in cui gli agenti accumulano rumore specifico per istanza anziché memorie robuste. Per risolvere questo problema, proponiamo UMEM (Unified Memory Extraction and Management), un framework per agenti auto-evolutivi che ottimizza congiuntamente un LLM per estrarre e gestire simultaneamente le memorie. Per mitigare l'overfitting su istanze specifiche, introduciamo il Semantic Neighborhood Modeling e ottimizziamo il modello con una ricompensa di utilità marginale a livello di vicinato mediante GRPO. Questo approccio garantisce la generalizzabilità della memoria valutando l'utilità mnemonica attraverso cluster di query semanticamente correlate. Esperimenti estesi su cinque benchmark dimostrano che UMEM supera significativamente baseline altamente competitive, raggiungendo un miglioramento fino al 10,67% in task interattivi multi-turno. Inoltre, UMEM mantiene una curva di crescita monotona durante l'evoluzione continua. I codici e i modelli saranno rilasciati pubblicamente.
English
Self-evolving memory serves as the trainable parameters for Large Language Models (LLMs)-based agents, where extraction (distilling insights from experience) and management (updating the memory bank) must be tightly coordinated. Existing methods predominately optimize memory management while treating memory extraction as a static process, resulting in poor generalization, where agents accumulate instance-specific noise rather than robust memories. To address this, we propose Unified Memory Extraction and Management (UMEM), a self-evolving agent framework that jointly optimizes a Large Language Model to simultaneous extract and manage memories. To mitigate overfitting to specific instances, we introduce Semantic Neighborhood Modeling and optimize the model with a neighborhood-level marginal utility reward via GRPO. This approach ensures memory generalizability by evaluating memory utility across clusters of semantically related queries. Extensive experiments across five benchmarks demonstrate that UMEM significantly outperforms highly competitive baselines, achieving up to a 10.67% improvement in multi-turn interactive tasks. Futhermore, UMEM maintains a monotonic growth curve during continuous evolution. Codes and models will be publicly released.