Docteur Tulu : Apprentissage par Renforcement avec des Grilles d'Évaluation Évolutives pour la Recherche Approfondie
DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research
November 24, 2025
papers.authors: Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Wen-tau Yih, Tongshuang Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh
cs.AI
papers.abstract
Les modèles de recherche approfondie effectuent des recherches multi-étapes pour produire des réponses longues et correctement attribuées. Cependant, la plupart des modèles ouverts de recherche approfondie sont entraînés sur des tâches de questions-réponses courtes et facilement vérifiables via l'apprentissage par renforcement avec récompenses vérifiables (RLVR), ce qui ne s'étend pas aux tâques réalistes de format long. Nous abordons ce problème avec l'Apprentissage par Renforcement avec Rubriques Évolutives (RLER), dans lequel nous construisons et maintenons des rubriques qui co-évoluent avec le modèle de politique pendant l'entraînement ; cela permet aux rubriques d'intégrer les informations nouvellement explorées par le modèle et de fournir un retour discriminant et sur-politique. En utilisant RLER, nous développons Deep Research Tulu (DR Tulu-8B), le premier modèle ouvert directement entraîné pour la recherche approfondie ouverte et de format long. Sur quatre benchmarks de recherche approfondie de format long dans les domaines scientifiques, médicaux et généraux, DR Tulu surpasse substantiellement les modèles ouverts de recherche approfondie existants, et égale ou dépasse les systèmes propriétaires de recherche approfondie, tout en étant significativement plus petit et moins coûteux par requête. Pour faciliter les recherches futures, nous publions toutes les données, modèles et codes, y compris notre nouvelle infrastructure d'agents basée sur MCP pour les systèmes de recherche approfondie.
English
Deep research models perform multi-step research to produce long-form, well-attributed answers. However, most open deep research models are trained on easily verifiable short-form QA tasks via reinforcement learning with verifiable rewards (RLVR), which does not extend to realistic long-form tasks. We address this with Reinforcement Learning with Evolving Rubrics (RLER), in which we construct and maintain rubrics that co-evolve with the policy model during training; this allows the rubrics to incorporate information that the model has newly explored and to provide discriminative, on-policy feedback. Using RLER, we develop Deep Research Tulu (DR Tulu-8B), the first open model that is directly trained for open-ended, long-form deep research. Across four long-form deep research benchmarks in science, healthcare and general domains, DR Tulu substantially outperforms existing open deep research models, and matches or exceeds proprietary deep research systems, while being significantly smaller and cheaper per query. To facilitate future research, we release all data, models, and code, including our new MCP-based agent infrastructure for deep research systems.