Dottor Tulu: Apprendimento per Rinforzo con Rubriche in Evoluzione per la Ricerca Approfondita
DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research
November 24, 2025
Autori: Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Wen-tau Yih, Tongshuang Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh
cs.AI
Abstract
I modelli di ricerca approfondita eseguono ricerche multi-step per produrre risposte estese e ben attribuite. Tuttavia, la maggior parte dei modelli aperti di ricerca approfondita viene addestrata su compiti di domanda-risposta (QA) di breve formato facilmente verificabili tramite apprendimento per rinforzo con ricompense verificabili (RLVR), approccio che non si estende a compiti realistici di lungo formato. Affrontiamo questo problema con l'Apprendimento per Rinforzo con Rubriche Evolutive (RLER), in cui costruiamo e manteniamo rubriche che co-evolvono con il modello policy durante l'addestramento; ciò consente alle rubriche di incorporare le informazioni esplorate di recente dal modello e di fornire un feedback discriminatorio e on-policy. Utilizzando RLER, sviluppiamo Deep Research Tulu (DR Tulu-8B), il primo modello aperto addestrato specificamente per la ricerca approfondita di lungo formato e a dominio aperto. In quattro benchmark di ricerca approfondita di lungo formato nei domini scientifico, sanitario e generale, DR Tulu supera sostanzialmente i modelli aperti di ricerca approfondita esistenti e raggiunge o supera i sistemi proprietari di ricerca approfondita, pur essendo significativamente più piccolo ed economico per query. Per facilitare la ricerca futura, rilasciamo tutti i dati, i modelli e il codice, inclusa la nostra nuova infrastruttura agentistica basata su MCP per sistemi di ricerca approfondita.
English
Deep research models perform multi-step research to produce long-form, well-attributed answers. However, most open deep research models are trained on easily verifiable short-form QA tasks via reinforcement learning with verifiable rewards (RLVR), which does not extend to realistic long-form tasks. We address this with Reinforcement Learning with Evolving Rubrics (RLER), in which we construct and maintain rubrics that co-evolve with the policy model during training; this allows the rubrics to incorporate information that the model has newly explored and to provide discriminative, on-policy feedback. Using RLER, we develop Deep Research Tulu (DR Tulu-8B), the first open model that is directly trained for open-ended, long-form deep research. Across four long-form deep research benchmarks in science, healthcare and general domains, DR Tulu substantially outperforms existing open deep research models, and matches or exceeds proprietary deep research systems, while being significantly smaller and cheaper per query. To facilitate future research, we release all data, models, and code, including our new MCP-based agent infrastructure for deep research systems.