UMEM: 一般化メモリのための統合メモリ抽出・管理フレームワーク

要旨

自己進化メモリは大規模言語モデル（LLM）ベースのエージェントにおける学習可能なパラメータとして機能し、抽出（経験からの知見の蒸留）と管理（メモリバンクの更新）が緊密に連携する必要がある。既存手法は、メモリ抽出を静的なプロセスとして扱いながら主にメモリ管理を最適化するため、一般化性能が低く、エージェントはロバストなメモリではなくインスタンス特有のノイズを蓄積してしまう。この問題を解決するため、我々はメモリ抽出と管理を統合的に最適化する自己進化型エージェントフレームワークUMEMを提案する。特定インスタンスへの過適合を緩和するため、意味的近傍モデリングを導入し、GRPOによる近傍レベル限界効用報酬を用いてモデルを最適化する。この手法は、意味的に関連するクエリ群におけるメモリ効用を評価することで、メモリの一般化性を保証する。5つのベンチマークによる大規模実験により、UMEMが競合ベースラインを大きく上回り、マルチターン対話タスクで最大10.67%の性能向上を達成することを実証した。さらにUMEMは連続進化過程において単調成長曲線を維持する。コードとモデルは公開予定である。

English

Self-evolving memory serves as the trainable parameters for Large Language Models (LLMs)-based agents, where extraction (distilling insights from experience) and management (updating the memory bank) must be tightly coordinated. Existing methods predominately optimize memory management while treating memory extraction as a static process, resulting in poor generalization, where agents accumulate instance-specific noise rather than robust memories. To address this, we propose Unified Memory Extraction and Management (UMEM), a self-evolving agent framework that jointly optimizes a Large Language Model to simultaneous extract and manage memories. To mitigate overfitting to specific instances, we introduce Semantic Neighborhood Modeling and optimize the model with a neighborhood-level marginal utility reward via GRPO. This approach ensures memory generalizability by evaluating memory utility across clusters of semantically related queries. Extensive experiments across five benchmarks demonstrate that UMEM significantly outperforms highly competitive baselines, achieving up to a 10.67% improvement in multi-turn interactive tasks. Futhermore, UMEM maintains a monotonic growth curve during continuous evolution. Codes and models will be publicly released.

UMEM: 一般化メモリのための統合メモリ抽出・管理フレームワーク

UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory

要旨

Support