DeepResearch Bench: Ein umfassender Benchmark für Deep Research Agents

DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents

June 13, 2025

Autoren: Mingxuan Du, Benfeng Xu, Chiwei Zhu, Xiaorui Wang, Zhendong Mao

cs.AI

Zusammenfassung

Deep Research Agents (DRAs) stellen eine bedeutende Kategorie von LLM-basierten Agenten dar. Durch die autonome Orchestrierung mehrstufiger Web-Recherchen, gezielter Informationsbeschaffung und höherer Synthese transformieren sie große Mengen an Online-Informationen in analystenreife, zitatreiche Berichte – und komprimieren damit Stunden manueller Schreibtischrecherche in Minuten. Dennoch fehlt ein umfassender Benchmark zur systematischen Bewertung der Fähigkeiten dieser Agenten. Um diese Lücke zu schließen, präsentieren wir DeepResearch Bench, einen Benchmark, der aus 100 PhD-Level-Forschungsaufgaben besteht, die jeweils von Domänenexperten aus 22 verschiedenen Fachgebieten sorgfältig erstellt wurden. Die Bewertung von DRAs ist von Natur aus komplex und arbeitsintensiv. Daher schlagen wir zwei neuartige Methoden vor, die eine starke Übereinstimmung mit menschlichen Urteilen erreichen. Die erste ist eine referenzbasierte Methode mit adaptiven Kriterien zur Bewertung der Qualität generierter Forschungsberichte. Das andere Framework wurde eingeführt, um die Fähigkeiten der DRAs zur Informationsbeschaffung und -sammlung zu bewerten, indem die effektive Zitatanzahl und die Gesamtgenauigkeit der Zitate bewertet werden. Wir haben DeepResearch Bench sowie Schlüsselkomponenten dieser Frameworks unter https://github.com/Ayanami0730/deep_research_bench quelloffen verfügbar gemacht, um die Entwicklung praktischer LLM-basierter Agenten zu beschleunigen.

English

Deep Research Agents are a prominent category of LLM-based agents. By autonomously orchestrating multistep web exploration, targeted retrieval, and higher-order synthesis, they transform vast amounts of online information into analyst-grade, citation-rich reports--compressing hours of manual desk research into minutes. However, a comprehensive benchmark for systematically evaluating the capabilities of these agents remains absent. To bridge this gap, we present DeepResearch Bench, a benchmark consisting of 100 PhD-level research tasks, each meticulously crafted by domain experts across 22 distinct fields. Evaluating DRAs is inherently complex and labor-intensive. We therefore propose two novel methodologies that achieve strong alignment with human judgment. The first is a reference-based method with adaptive criteria to assess the quality of generated research reports. The other framework is introduced to evaluate DRA's information retrieval and collection capabilities by assessing its effective citation count and overall citation accuracy. We have open-sourced DeepResearch Bench and key components of these frameworks at https://github.com/Ayanami0730/deep_research_bench to accelerate the development of practical LLM-based agents.