DR Tulu: Verstärkendes Lernen mit evolvierenden Bewertungsrastern für tiefgehende Forschung
DR Tulu: Reinforcement Learning with Evolving Rubrics for Deep Research
November 24, 2025
papers.authors: Rulin Shao, Akari Asai, Shannon Zejiang Shen, Hamish Ivison, Varsha Kishore, Jingming Zhuo, Xinran Zhao, Molly Park, Samuel G. Finlayson, David Sontag, Tyler Murray, Sewon Min, Pradeep Dasigi, Luca Soldaini, Faeze Brahman, Wen-tau Yih, Tongshuang Wu, Luke Zettlemoyer, Yoon Kim, Hannaneh Hajishirzi, Pang Wei Koh
cs.AI
papers.abstract
Tiefe Forschungsmodelle führen mehrstufige Recherchen durch, um langformulierte, gut belegte Antworten zu generieren. Allerdings werden die meisten offenen tiefen Forschungsmodelle anhand leicht überprüfbarer Kurzfrage-Antwort-Aufgaben mittels Verstärkendem Lernen mit überprüfbaren Belohnungen (RLVR) trainiert, was sich nicht auf realistische Langform-Aufgaben übertragen lässt. Wir adressieren dieses Problem mit Verstärkendem Lernen mit sich entwickelnden Bewertungsrastern (RLER), bei dem wir Bewertungsraster erstellen und pflegen, die sich während des Trainings gemeinsam mit dem Policy-Modell weiterentwickeln. Dies ermöglicht es den Bewertungsrastern, neu erschlossene Informationen des Modells zu integrieren und differenzierte, on-policy Rückmeldungen zu geben. Mit RLER entwickeln wir Deep Research Tulu (DR Tulu-8B), das erste offene Modell, das direkt für offene, langformulierte tiefe Recherchen trainiert wurde. In vier Langform-Benchmarks für tiefe Recherchen aus den Bereichen Wissenschaft, Gesundheitswesen und allgemeine Domänen übertrifft DR Tulu bestehende offene tiefe Forschungsmodelle erheblich und erreicht oder übertrifft proprietäre Systeme für tiefe Recherchen, obwohl es deutlich kleiner und kostengünstiger pro Abfrage ist. Um zukünftige Forschung zu ermöglichen, veröffentlichen wir alle Daten, Modelle und Code, einschließlich unserer neuen MCP-basierten Agenten-Infrastruktur für tiefe Forschungssysteme.
English
Deep research models perform multi-step research to produce long-form, well-attributed answers. However, most open deep research models are trained on easily verifiable short-form QA tasks via reinforcement learning with verifiable rewards (RLVR), which does not extend to realistic long-form tasks. We address this with Reinforcement Learning with Evolving Rubrics (RLER), in which we construct and maintain rubrics that co-evolve with the policy model during training; this allows the rubrics to incorporate information that the model has newly explored and to provide discriminative, on-policy feedback. Using RLER, we develop Deep Research Tulu (DR Tulu-8B), the first open model that is directly trained for open-ended, long-form deep research. Across four long-form deep research benchmarks in science, healthcare and general domains, DR Tulu substantially outperforms existing open deep research models, and matches or exceeds proprietary deep research systems, while being significantly smaller and cheaper per query. To facilitate future research, we release all data, models, and code, including our new MCP-based agent infrastructure for deep research systems.