MemHarness：記憶は再生されるのではなく再構築される

要旨

過去の経験を検索することは、大規模言語モデルエージェントを強化するための一般的な戦略となっている。しかしながら、既存のメモリ拡張エージェントのほとんどは、検索された経験をそのまま再生されるべき静的な記録として扱い、それがエージェントの現在の状況と一致するかどうかにかかわらずコンテキストに注入する。この「再生」パラダイムは、蓄積された経験の抽象的かつ一般的な性質と、意思決定時に直面する具体的で絶えず変化する状態との間のギャップを無視しており、しばしば負の転移を引き起こす。対照的に、人間は過去の経験を逐語的に想起することはほとんどなく、検索された記憶を整理し、現在の文脈に適合するよう適応させる。この着想に基づき、我々はMemHarnessを提案する。これは、LLMエージェントが現在の文脈に基づいて過去の経験を能動的に活用し、再構築することを可能にするフレームワークである。各意思決定ステップにおいて、統合ポリシーモデルが現在の状態に条件付けられた検索経験を批判し再構築し、行動する前に文脈に基づくガイダンスを生成する。この再構築能力は、GRPOによるエンドツーエンドの学習を通じて自然に獲得される。ALFWorldとWebShopにおける実験では、MemHarnessが純粋なRLおよび静的メモリ拡張ベースラインを大幅に上回り、分布外（OOD）シナリオにおいて強いロバスト性を示すことが実証された。さらに、我々の分析は、この再構築目的が負の転移を防ぐだけでなく、学習中の潜在的なガイダンスとしても機能し、エージェントの本質的な推論能力を根本的に向上させることを明らかにしている。

English

Retrieving past experiences has become a common strategy to enhance large language model agents. However, most existing memory-augmented agents treat retrieved experiences as static records to be replayed verbatim, injecting them into the context regardless of whether they align with the agent's current situation. This ``replay'' paradigm ignores the gap between the abstract, general nature of stored experience and the concrete, ever-changing states encountered at decision time, frequently causing negative transfer. In contrast, humans rarely recall past experiences verbatim; instead, they reorganize and adapt retrieved memories to fit the present context. Inspired by this, we propose MemHarness, a framework that equips LLM agents to actively harness and reconstruct past experiences based on the present context. At each decision step, a unified policy model critiques and reconstructs the retrieved experience conditioned on the current state, producing context-grounded guidance before acting. This reconstructive ability emerges naturally through end-to-end training with GRPO. Experiments on ALFWorld and WebShop show that MemHarness substantially outperforms pure RL and static memory-augmented baselines, demonstrating strong robustness in out-of-distribution (OOD) scenarios. Furthermore, our analyses reveal that this reconstruction objective not only prevents negative transfer but also serves as latent guidance during training, fundamentally improving the agent's intrinsic reasoning capabilities.