GRASP: エージェンティックRAGのための粒度認識検索ポリシー

要旨

エージェント型検索拡張生成（RAG）は、言語モデルが反復的に推論し、検索クエリを生成し、証拠を取得し、回答を予測できるようにすることで、静的なRAGを拡張する。しかし、モデルがいつ検索すべきか、字句一致と意味的類似性のどちらを使用すべきか、また、エージェントの推論を妨げる無関係なトークンを防ぐために文脈の粒度をどのように制御すべきかを決定することは、依然として困難である。本稿では、強化学習（RL）フレームワークGRASPを導入し、エージェントが多段推論中に補完的な検索ツールを適応的に連携するように訓練する。GRASPはエージェントに意味検索、キーワード検索、段落読み取りの行動を提供し、必要な場合にのみ文レベルの証拠を取得し、さらに文脈を拡張することを可能にする。我々は、回答の正確性、根拠に基づく読み取り、補完的な検索、ターン効率を共同で考慮した報酬を用いてポリシーを訓練する。多段推論ベンチマークでの実験により、GRASPは単一段階検索、プロンプトベースのエージェント型RAG、およびRLベースの検索ベースラインと比較して、検索再現率と下流の質問応答性能の両方を向上させることが示された。質的およびアブレーション分析により、学習されたポリシーは解釈可能なスキミングとスキャニング行動を発展させることが示される。すなわち、広範な探索には意味検索を、局所的な検証には段落読み取りを、エンティティ固有の証拠にはキーワード検索を使用する。これらの結果は、検索シグナルと文脈の粒度を連携させることを学習することが、エージェントの正しい推論にとって重要であることを示唆している。

English

Agentic retrieval-augmented generation (RAG) extends static RAG by allowing language models to iteratively reason, generate search queries, retrieve evidence, and predict answers. However, it remains challenging for models to decide when to retrieve, whether to use lexical matching or semantic similarity, and how to control context granularity to prevent irrelevant tokens from interfering with agent reasoning. In this paper, we introduce GRASP, a reinforcement learning (RL) framework for training agents to adaptively coordinate complementary retrieval tools during multi-step reasoning. GRASP provides the agent with semantic search, keyword search, and paragraph-reading actions, enabling it to retrieve sentence-level evidence and expand further context only when needed. We train the policy with a reward that jointly accounts for answer accuracy, grounded reading, complementary search, and turn efficiency. Experiments on multi-hop reasoning benchmarks show that GRASP improves both retrieval recall and downstream question answering performance compared with single-step retrieval, prompting-based agentic RAG, and RL-based retrieval baselines. Qualitative and ablation analyses show that the learned policy develops interpretable skimming and scanning behavior: it uses semantic search for broad exploration, paragraph reading for local verification, and keyword search for entity-specific evidence. These results suggest that learning to coordinate retrieval signals and context granularity is critical for agent's correct reasoning.