RoMeRL: 低次元ユーティリティ状態による自己進化型エージェントメモリにおけるフィードバックカバレッジとメモリ-報酬の罠のバランス調整

要旨

自己進化型LLMエージェントのための学習ベース記憶システムは、密接に関連する二つの課題に直面している。第一に、軌跡インデックス付き効用はインタラクション履歴に伴って増加し、その結果、限られたフィードバックが拡大し続ける状態空間へと分散される。第二に、軌跡レベルの報酬が同時検索された記憶群に対して一括で割り当てられるため、無関係な経験が誤解を招く効用更新を受け、その結果として記憶-報酬の罠に陥る可能性がある。これらの課題に対処するため、我々は低次元記憶強化学習（RoMeRL）を導入する。これは、結果の極性と記憶ダイナミクスによって因子分解された固定次元のタスクごとの記憶状態を用いて、増大する軌跡インデックス付き効用空間を表現する。RoMeRLは、時間とともに内容が更新または置換される固定集合の意味座標を通じて新しい経験を取り込む。これにより、フィードバックを有界な効用サポート上に集中させる。理論的には、この低次元パラメータ化が各効用座標が受け取る平均フィードバックを増加させることを示し、一般的な座標遷移モデルの下での誤った座標の定常状態占有率を特徴付ける。実験的には、ALFWorldとLifelongAgentBenchにおいて、RoMeRLはタスク性能を向上させ、Cold-Q比を80.0%削減し、フィードバック密度を約6.0倍に増加させ、保持メモリサイズを84.4%削減し、LLM呼び出しを21.1%削減する。これらの結果は、低次元の効用状態が持続的な報酬汚染を制限しつつ、効率的な自己進化型エージェント記憶を実現することを示している。コードは https://github.com/YOUNG-fnxm/RoMeRL で公開されている。

English

Learning-based memory systems for self-evolving LLM agents face two tightly coupled challenges. First, trajectory-indexed utilities grow with the interaction history, thereby dispersing limited feedback over an ever-expanding state space. Second, because trajectory-level rewards are jointly assigned to co-retrieved memories, irrelevant experiences may receive misleading utility updates and consequently enter the memory-reward trap. To address these challenges, we introduce Reduced-Order Memory Reinforcement Learning (RoMeRL), which represents the growing trajectory-indexed utility space using a fixed-dimensional per-task memory state factorized by outcome polarity and memory dynamics. RoMeRL incorporates new experiences through a fixed set of semantic coordinates whose contents are updated or replaced over time, thereby concentrating feedback over a bounded utility support. Theoretically, we show that this reduced-order parameterization increases the average feedback received by each utility coordinate and characterize the steady-state occupancy of erroneous coordinates under a generic coordinate-transition model. Empirically, across ALFWorld and LifelongAgentBench, RoMeRL improves task performance, reduces the Cold-Q ratio by 80.0%, increases feedback density by approximately 6.0 times, reduces the maintained memory size by 84.4%, and cuts LLM calls by 21.1%. These results show that reduced-order utility states support efficient self-evolving agent memory while limiting persistent reward contamination. Code is available at: https://github.com/YOUNG-fnxm/RoMeRL