DR Tulu: Aprendizaje por Refuerzo con Rúbricas Evolutivas para la Investigación Profunda
DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research
November 24, 2025
Autores: Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Wen-tau Yih, Tongshuang Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh
cs.AI
Resumen
Los modelos de investigación profunda realizan investigaciones multi-etapa para producir respuestas extensas y bien atribuidas. Sin embargo, la mayoría de los modelos abiertos de investigación profunda se entrenan en tareas de preguntas y respuestas (QA) de formato corto y fácilmente verificables mediante aprendizaje por refuerzo con recompensas verificables (RLVR), lo cual no se extiende a tareas realistas de formato largo. Abordamos este problema con el Aprendizaje por Refuerzo con Rúbricas Evolutivas (RLER), mediante el cual construimos y mantenemos rúbricas que co-evolucionan con el modelo de política durante el entrenamiento; esto permite que las rúbricas incorporen información que el modelo ha explorado recientemente y proporcionen retroalimentación discriminativa y *on-policy*. Utilizando RLER, desarrollamos Deep Research Tulu (DR Tulu-8B), el primer modelo abierto entrenado directamente para la investigación profunda de formato largo y de final abierto. En cuatro benchmarks de investigación profunda de formato largo en los dominios de ciencia, salud y conocimiento general, DR Tulu supera sustancialmente a los modelos abiertos de investigación profunda existentes, y iguala o supera a los sistemas propietarios de investigación profunda, siendo significativamente más pequeño y económico por consulta. Para facilitar la investigación futura, publicamos todos los datos, modelos y código, incluyendo nuestra nueva infraestructura de agentes basada en MCP para sistemas de investigación profunda.
English
Deep research models perform multi-step research to produce long-form, well-attributed answers. However, most open deep research models are trained on easily verifiable short-form QA tasks via reinforcement learning with verifiable rewards (RLVR), which does not extend to realistic long-form tasks. We address this with Reinforcement Learning with Evolving Rubrics (RLER), in which we construct and maintain rubrics that co-evolve with the policy model during training; this allows the rubrics to incorporate information that the model has newly explored and to provide discriminative, on-policy feedback. Using RLER, we develop Deep Research Tulu (DR Tulu-8B), the first open model that is directly trained for open-ended, long-form deep research. Across four long-form deep research benchmarks in science, healthcare and general domains, DR Tulu substantially outperforms existing open deep research models, and matches or exceeds proprietary deep research systems, while being significantly smaller and cheaper per query. To facilitate future research, we release all data, models, and code, including our new MCP-based agent infrastructure for deep research systems.