深層研究システムのための強化学習基盤：サーベイ

要旨

深層研究システム、すなわち複雑で多段階のタスクを解決するためのエージェント型AIは、推論の調整、オープンウェブおよびユーザーファイルの検索、ツールの使用を統合し、プランナー、コーディネーター、エグゼキューターを階層的に配置する方向に進化しています。実際には、エンドツーエンドでスタック全体をトレーニングすることは依然として非現実的であるため、ほとんどの研究では、検索、ブラウジング、コードなどのコアツールに接続された単一のプランナーをトレーニングしています。SFT（Supervised Fine-Tuning）はプロトコルの忠実性を提供しますが、模倣バイアスや露出バイアスに悩まされ、環境フィードバックを十分に活用できません。DPO（Direct Preference Optimization）などの選好整合手法は、スキーマとプロキシに依存し、オフポリシーであり、長期的なクレジット割り当てや多目的トレードオフに対して弱いです。SFTとDPOのさらなる制限は、スキーマ設計とラベル付き比較を通じて人間が定義した決定点とサブスキルに依存することです。強化学習（RL）は、閉ループのツールインタラクション研究と整合し、軌跡レベルのポリシーを最適化することで、探索、回復行動、原則に基づいたクレジット割り当てを可能にし、そのような人間の事前知識や評価者バイアスへの依存を軽減します。この調査は、私たちの知る限り、深層研究システムのRL基盤に特化した最初のものです。DeepSeek-R1以降の研究を3つの軸に沿って体系化しています：(i) データ合成とキュレーション、(ii) 安定性、サンプル効率、長文脈処理、報酬とクレジット設計、多目的最適化、マルチモーダル統合をカバーするエージェント型研究のためのRL手法、(iii) エージェント型RLトレーニングシステムとフレームワーク。また、エージェントアーキテクチャと調整、評価とベンチマーク、最近のQA（質問応答）、VQA（視覚的質問応答）、長文合成、ドメインに基づいたツールインタラクションタスクについても取り上げています。繰り返し現れるパターンを抽出し、インフラストラクチャのボトルネックを明らかにし、RLを用いて堅牢で透明性の高い深層研究エージェントをトレーニングするための実践的なガイダンスを提供します。

English

Deep research systems, agentic AI that solve complex, multi-step tasks by coordinating reasoning, search across the open web and user files, and tool use, are moving toward hierarchical deployments with a Planner, Coordinator, and Executors. In practice, training entire stacks end-to-end remains impractical, so most work trains a single planner connected to core tools such as search, browsing, and code. While SFT imparts protocol fidelity, it suffers from imitation and exposure biases and underuses environment feedback. Preference alignment methods such as DPO are schema and proxy-dependent, off-policy, and weak for long-horizon credit assignment and multi-objective trade-offs. A further limitation of SFT and DPO is their reliance on human defined decision points and subskills through schema design and labeled comparisons. Reinforcement learning aligns with closed-loop, tool-interaction research by optimizing trajectory-level policies, enabling exploration, recovery behaviors, and principled credit assignment, and it reduces dependence on such human priors and rater biases. This survey is, to our knowledge, the first dedicated to the RL foundations of deep research systems. It systematizes work after DeepSeek-R1 along three axes: (i) data synthesis and curation; (ii) RL methods for agentic research covering stability, sample efficiency, long context handling, reward and credit design, multi-objective optimization, and multimodal integration; and (iii) agentic RL training systems and frameworks. We also cover agent architecture and coordination, as well as evaluation and benchmarks, including recent QA, VQA, long-form synthesis, and domain-grounded, tool-interaction tasks. We distill recurring patterns, surface infrastructure bottlenecks, and offer practical guidance for training robust, transparent deep research agents with RL.

深層研究システムのための強化学習基盤：サーベイ

Reinforcement Learning Foundations for Deep Research Systems: A Survey

要旨

Support