DR Tulu: Versterkend Leren met Evoluerende Rubrics voor Diepgaand Onderzoek
DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research
November 24, 2025
Auteurs: Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Wen-tau Yih, Tongshuang Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh
cs.AI
Samenvatting
Diepgaande onderzoeksmodellen voeren meerstapsonderzoek uit om uitgebreide, goed toegeschreven antwoorden te genereren. De meeste open diepgaande onderzoeksmodellen worden echter getraind op eenvoudig verifieerbare kort-antwoordtaken via reinforcement learning met verifieerbare beloningen (RLVR), wat niet toepasbaar is op realistische langere taken. Wij pakken dit aan met Reinforcement Learning met Evolving Rubrics (RLER), waarbij we rubrics construeren en onderhouden die co-evolueren met het beleidsmodel tijdens de training; hierdoor kunnen de rubrics nieuw verkende informatie integreren en onderscheidende, on-policy feedback geven. Met RLER ontwikkelen we Deep Research Tulu (DR Tulu-8B), het eerste open model dat rechtstreeks is getraind voor open-eind, langdurig diepgaand onderzoek. Op vier langere onderzoeksbenchmarks in wetenschap, gezondheidszorg en algemene domeinen presteert DR Tulu aanzienlijk beter dan bestaande open diepgaande onderzoeksmodellen, en evenaart of overtreft het propriëtaire diepgaande onderzoekssystemen, terwijl het aanzienlijk kleiner en goedkoper per query is. Om toekomstig onderzoek te vergemakkelijken, geven we alle data, modellen en code vrij, inclusief onze nieuwe op MCP gebaseerde agentinfrastructuur voor diepgaande onderzoekssystemen.
English
Deep research models perform multi-step research to produce long-form, well-attributed answers. However, most open deep research models are trained on easily verifiable short-form QA tasks via reinforcement learning with verifiable rewards (RLVR), which does not extend to realistic long-form tasks. We address this with Reinforcement Learning with Evolving Rubrics (RLER), in which we construct and maintain rubrics that co-evolve with the policy model during training; this allows the rubrics to incorporate information that the model has newly explored and to provide discriminative, on-policy feedback. Using RLER, we develop Deep Research Tulu (DR Tulu-8B), the first open model that is directly trained for open-ended, long-form deep research. Across four long-form deep research benchmarks in science, healthcare and general domains, DR Tulu substantially outperforms existing open deep research models, and matches or exceeds proprietary deep research systems, while being significantly smaller and cheaper per query. To facilitate future research, we release all data, models, and code, including our new MCP-based agent infrastructure for deep research systems.