メモリの活用：メモリエージェントにおけるメモリ基盤の総合的評価

要旨

メモリは、長期的なタスクを遂行するLLMエージェントの中核インフラストラクチャとなりつつある一方、既存の評価は、異なる動作環境下でどのメモリ基盤（すなわち、メモリが表現・保存される基盤媒体）を使用すべきかについて限定的な指針しか提供していない。本稿では、メモリ拡張エージェントを対象としたメモリ基盤の統制されたハーネス評価を提示する。対象は、密・疎インデックス、テキストレコード、構造化ストア、階層型ストア、洗練型メモリ、パラメトリック更新、活性化互換のコンテキスト機構である。3つのバックボーンモデルと、ユーザー中心の質問応答およびエージェント中心の意思決定を網羅する4つのベンチマークスイートにわたり、統一ハーネスの下で26の性能・効率指標を計測した。実験結果は、単一の基盤が一貫して優位であるわけではないことを示している。すなわち、広範な検索は長文脈の事実的QAに有効である一方、過度な検索は行動に重要な文脈から注意をそらすことで逐次意思決定を損なう可能性がある。さらに、スケーラビリティは新たなルーティング軸をもたらす。中程度の履歴長で良好な性能を示す基盤であっても、より長い期間ではコストが増大したり脆弱になったりするためである。これらの知見は、基盤ルーティングが適応的エージェントメモリシステムの必須構成要素であることを動機づけ、LLMエージェント向けに効率的で信頼性が高く、動作環境を考慮した長期メモリを設計するための実証的指針を提供する。コードは採録後に公開予定である。

English

Memory is becoming core infrastructure for long-horizon LLM agents, yet existing evaluations offer limited guidance on which memory substrate, namely the underlying medium in which memory is represented and stored, should be used under different operating regimes. We present a controlled harness evaluation of memory substrates for memory-augmented agents, covering dense and sparse indices, text records, structural stores, hierarchical stores, refinement-based memories, parametric updates, and activation-compatible context mechanisms. Across three backbone models and four benchmark suites spanning user-centric question answering and agent-centric decision-making, we instrument 26 performance and efficiency metrics under a unified harness. Our results show that no single substrate consistently dominates: broad retrieval benefits long-context factual QA, while excessive retrieval can harm sequential decision-making by shifting attention away from action-critical context. Scalability introduces a further routing axis, as substrates that perform well at moderate history lengths can become costly or brittle at longer horizons. These findings motivate substrate routing as a necessary component of adaptive agent memory systems and provide empirical guidance for designing efficient, reliable, and regime-aware long-term memory for LLM agents. Code will be made available upon acceptance.