UMEM: Marco Unificado de Extracción y Gestión de Memoria para Memoria Generalizable
UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory
February 11, 2026
Autores: Yongshi Ye, Hui Jiang, Feihu Jiang, Tian Lan, Yichao Du, Biao Fu, Xiaodong Shi, Qianghuai Jia, Longyue Wang, Weihua Luo
cs.AI
Resumen
La memoria de auto-evolución sirve como parámetro entrenable para agentes basados en Modelos de Lenguaje a Gran Escala (LLMs), donde la extracción (destilando conocimientos de la experiencia) y la gestión (actualizando el banco de memoria) deben estar estrechamente coordinadas. Los métodos existentes optimizan predominantemente la gestión de la memoria mientras tratan la extracción de memoria como un proceso estático, lo que resulta en una pobre generalización, donde los agentes acumulan ruido específico de instancias en lugar de memorias robustas. Para abordar esto, proponemos Extracción y Gestión Unificada de Memoria (UMEM), un marco de agente auto-evolutivo que optimiza conjuntamente un Modelo de Lenguaje a Gran Escala para extraer y gestionar memorias simultáneamente. Para mitigar el sobreajuste a instancias específicas, introducimos Modelado de Vecindarios Semánticos y optimizamos el modelo con una recompensa de utilidad marginal a nivel de vecindario mediante GRPO. Este enfoque asegura la generalización de la memoria evaluando la utilidad de la memoria a través de grupos de consultas semánticamente relacionadas. Extensos experimentos en cinco benchmarks demuestran que UMEM supera significativamente líneas base altamente competitivas, logrando una mejora de hasta el 10.67% en tareas interactivas multi-turno. Además, UMEM mantiene una curva de crecimiento monótona durante la evolución continua. Los códigos y modelos serán liberados públicamente.
English
Self-evolving memory serves as the trainable parameters for Large Language Models (LLMs)-based agents, where extraction (distilling insights from experience) and management (updating the memory bank) must be tightly coordinated. Existing methods predominately optimize memory management while treating memory extraction as a static process, resulting in poor generalization, where agents accumulate instance-specific noise rather than robust memories. To address this, we propose Unified Memory Extraction and Management (UMEM), a self-evolving agent framework that jointly optimizes a Large Language Model to simultaneous extract and manage memories. To mitigate overfitting to specific instances, we introduce Semantic Neighborhood Modeling and optimize the model with a neighborhood-level marginal utility reward via GRPO. This approach ensures memory generalizability by evaluating memory utility across clusters of semantically related queries. Extensive experiments across five benchmarks demonstrate that UMEM significantly outperforms highly competitive baselines, achieving up to a 10.67% improvement in multi-turn interactive tasks. Futhermore, UMEM maintains a monotonic growth curve during continuous evolution. Codes and models will be publicly released.