DR Tulu: Aprendizado por Reforço com Rúbricas em Evolução para Pesquisa Aprofundada
DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research
November 24, 2025
Autores: Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Wen-tau Yih, Tongshuang Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh
cs.AI
Resumo
Os modelos de pesquisa profunda realizam pesquisas em múltrias etapas para produzir respostas longas e bem fundamentadas. No entanto, a maioria dos modelos abertos de pesquisa profunda é treinada em tarefas de perguntas e respostas (QA) curtas e facilmente verificáveis por meio de aprendizagem por reforço com recompensas verificáveis (RLVR), o que não se estende a tarefas realistas de formato longo. Nós abordamos isso com a Aprendizagem por Reforço com Rúbricas em Evolução (RLER), na qual construímos e mantemos rúbricas que coevoluem com o modelo de política durante o treinamento; isso permite que as rúbricas incorporem informações que o modelo explorou recentemente e forneçam feedback discriminativo e *on-policy*. Usando o RLER, desenvolvemos o Deep Research Tulu (DR Tulu-8B), o primeiro modelo aberto que é treinado diretamente para pesquisa profunda de formato longo e aberto. Em quatro *benchmarks* de pesquisa profunda de formato longo nas áreas de ciência, saúde e domínios gerais, o DR Tulu supera substancialmente os modelos abertos de pesquisa profunda existentes e iguala ou excede sistemas proprietários de pesquisa profunda, sendo significativamente menor e mais barato por consulta. Para facilitar pesquisas futuras, disponibilizamos todos os dados, modelos e código, incluindo nossa nova infraestrutura de agentes baseada em MCP para sistemas de pesquisa profunda.
English
Deep research models perform multi-step research to produce long-form, well-attributed answers. However, most open deep research models are trained on easily verifiable short-form QA tasks via reinforcement learning with verifiable rewards (RLVR), which does not extend to realistic long-form tasks. We address this with Reinforcement Learning with Evolving Rubrics (RLER), in which we construct and maintain rubrics that co-evolve with the policy model during training; this allows the rubrics to incorporate information that the model has newly explored and to provide discriminative, on-policy feedback. Using RLER, we develop Deep Research Tulu (DR Tulu-8B), the first open model that is directly trained for open-ended, long-form deep research. Across four long-form deep research benchmarks in science, healthcare and general domains, DR Tulu substantially outperforms existing open deep research models, and matches or exceeds proprietary deep research systems, while being significantly smaller and cheaper per query. To facilitate future research, we release all data, models, and code, including our new MCP-based agent infrastructure for deep research systems.