SAM: 長期推論エージェントのための状態適応型メモリ

要旨

長期的なエージェント推論では、大規模言語モデルが思考、ツール呼び出し、観察、部分的な結論を含む長い相互作用履歴に基づいて動作する必要がある。課題は単にこれらの履歴が長くなることではなく、現在の決定に必要な情報が離れたステップに散在し、後になって初めて重要になることである。既存のアプローチは、相互作用履歴を切り詰めたり、短い代理情報に圧縮したり、再利用のために選択部分を検索したりすることでこの困難に対処しているが、過去の相互作用へのアクセスがエージェントの状態変化に適応する方法を明示的にモデル化していない。そこで我々は、長期的推論を状態適応型メモリの問題として捉える。この目的のために、我々はState-Adaptive Memory~(SAM)を提案する。これは、進行中の相互作用をコンパクトなメモリキューに集約しつつ、意図駆動型の想起のために生の軌跡ページを保持する独立したフレームワークである。これらのキューは履歴の代替として扱われるのではなく、むしろ軽量なハンドルとして機能し、エージェントが基礎となるバックボーンを再学習することなく、現在のニーズに応じて時間的に離れた情報を再構築することを可能にする。さらに、専門家による指導と強化学習を通じてメモリモジュールを最適化し、軌跡レベルの有用性に整合させる。BrowseComp、BrowseComp-ZH、WideSearch、HLEにおいて、SAMは多様なエージェントバックボーンにわたって強力なベースラインを一貫して上回る。我々の結果は、明示的なメモリモデリングが長期的なエージェント推論のためのシンプルで効果的な基盤を提供することを示唆している。

English

Long-horizon agentic reasoning requires large language models to act over long interaction histories containing thoughts, tool calls, observations, and partial conclusions. The challenge is not merely that these histories grow long, but that information needed for the current decision may be scattered across distant steps and only become relevant later. Existing approaches address this difficulty by truncating the interaction history, compressing it into shorter surrogates, or retrieving selected parts of it for reuse, but they do not explicitly model how access to past interaction should adapt to the agent's evolving state. We instead cast long-horizon reasoning as a problem of state-adaptive memory. To this end, we propose State-Adaptive Memory~(SAM), a standalone framework that consolidates ongoing interaction into compact memory cues while preserving raw trajectory pages for intent-driven recall. These cues are not treated as replacements for history; rather, they serve as lightweight handles that allow the agent to reconstruct temporally distant information according to its current needs, without retraining the underlying backbone. We further optimize the memory module through expert-guided supervision and reinforcement learning, aligning it with trajectory-level utility. Across BrowseComp, BrowseComp-ZH, WideSearch, and HLE, SAM consistently outperforms strong baselines over diverse agent backbones. Our results suggest that explicit memory modeling provides a simple and effective foundation for long-horizon agentic reasoning.