DR Tulu: 深層研究のための進化するルーブリックを用いた強化学習

要旨

深層研究モデルは、長文で適切に典拠が示された回答を生成するために多段階の調査を行います。しかし、現在公開されている深層研究モデルの大半は、検証可能な報酬を用いた強化学習（RLVR）によって、検証が容易な短文QAタスクで学習されており、現実的な長文タスクには対応できていません。この課題に対処するため、我々は進化する評価基準を用いた強化学習（RLER）を提案します。RLERでは、学習過程中にポリシーモデルと共進化する評価基準を構築・維持し、モデルが新たに探索した情報を評価基準に組み込むことで、識別力のあるオン方策フィードバックを実現します。RLERを用いて開発したDeep Research Tulu（DR Tulu-8B）は、オープンエンドの長文深層研究に直接学習された初のオープンモデルです。科学・医療・一般領域の4つの長文深層研究ベンチマークにおいて、DR Tuluは既存のオープン深層研究モデルを大幅に上回り、プロプライエタリな深層研究システムに匹敵するかそれを超える性能を示しながら、モデルサイズとクエリあたりのコストを大幅に削減しています。今後の研究促進のため、新規開発したMCPベースの深層研究システム用エージェント基盤を含む、すべてのデータ・モデル・コードを公開します。

English

Deep research models perform multi-step research to produce long-form, well-attributed answers. However, most open deep research models are trained on easily verifiable short-form QA tasks via reinforcement learning with verifiable rewards (RLVR), which does not extend to realistic long-form tasks. We address this with Reinforcement Learning with Evolving Rubrics (RLER), in which we construct and maintain rubrics that co-evolve with the policy model during training; this allows the rubrics to incorporate information that the model has newly explored and to provide discriminative, on-policy feedback. Using RLER, we develop Deep Research Tulu (DR Tulu-8B), the first open model that is directly trained for open-ended, long-form deep research. Across four long-form deep research benchmarks in science, healthcare and general domains, DR Tulu substantially outperforms existing open deep research models, and matches or exceeds proprietary deep research systems, while being significantly smaller and cheaper per query. To facilitate future research, we release all data, models, and code, including our new MCP-based agent infrastructure for deep research systems.

DR Tulu: 深層研究のための進化するルーブリックを用いた強化学習

DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research

要旨

Support