AutoResearchBench: Benchmarkierung von KI-Agenten bei der komplexen wissenschaftlichen Literaturrecherche
AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery
April 28, 2026
Autoren: Lei Xiong, Kun Luo, Ziyi Xia, Wenbo Zhang, Jin-Ge Yao, Zheng Liu, Jingying Shao, Jianlyu Chen, Hongjin Qian, Xi Yang, Qian Yu, Hao Li, Chen Yue, Xiaan Du, Yuyang Wang, Yesheng Liu, Haiyu Xu, Zhicheng Dou
cs.AI
Zusammenfassung
Autonome wissenschaftliche Forschung wird durch die Entwicklung von KI-Agenten erheblich vorangetrieben. Ein entscheidender Schritt in diesem Prozess ist das Auffinden der richtigen wissenschaftlichen Literatur, sei es zur Erschließung des vorhandenen Wissens für ein Forschungsproblem oder zum Erwerb von Belegen zur Überprüfung von Annahmen und zur Untermauerung von Behauptungen. Um die Fähigkeit von KI-Agenten zu bewerten, diesen Prozess voranzutreiben, stellen wir AutoResearchBench vor, einen speziellen Benchmark für die autonome Entdeckung wissenschaftlicher Literatur. AutoResearchBench besteht aus zwei komplementären Aufgabentypen: (1) Tiefenrecherche, die das Aufspüren eines spezifischen Zielartikels durch einen progressiven, mehrstufigen Suchprozess erfordert, und (2) Breitenrecherche, die das umfassende Sammeln einer Reihe von Artikeln erfordert, die vorgegebene Bedingungen erfüllen. Im Vergleich zu früheren Benchmarks für agentenbasiertes Web-Browsing zeichnet sich AutoResearchBench durch drei Dimensionen aus: Es ist forschungsorientiert und erfordert ein tiefgehendes Verständnis wissenschaftlicher Konzepte; literaturfokussiert und verlangt die feingranulare Nutzung detaillierter Informationen; sowie offen, da eine unbekannte Anzahl qualifizierter Artikel involviert ist und somit durchdachtes Schlussfolgern und Suchen erforderlich ist. Diese Eigenschaften machen AutoResearchBench einzigartig geeignet für die Bewertung autonomer Forschungskapazitäten und außerordentlich herausfordernd. Selbst die leistungsstärksten LLMs, die allgemeine agentenbasierte Web-Browsing-Benchmarks wie BrowseComp weitgehend gemeistert haben, erreichen nur 9,39 % Genauigkeit bei der Tiefenrecherche und 9,31 % IoU bei der Breitenrecherche, während viele andere starke Baseline-Modelle unter 5 % fallen. Wir veröffentlichen den Datensatz, die Evaluierungspipeline und den Code unter https://github.com/CherYou/AutoResearchBench, um zukünftige Forschung in dieser Richtung zu fördern.
English
Autonomous scientific research is significantly advanced thanks to the development of AI agents. One key step in this process is finding the right scientific literature, whether to explore existing knowledge for a research problem, or to acquire evidence for verifying assumptions and supporting claims. To assess AI agents' capability in driving this process, we present AutoResearchBench, a dedicated benchmark for autonomous scientific literature discovery. AutoResearchBench consists of two complementary task types: (1) Deep Research, which requires tracking down a specific target paper through a progressive, multi-step probing process, and (2) Wide Research, which requires comprehensively collecting a set of papers satisfying given conditions. Compared to previous benchmarks on agentic web browsing, AutoResearchBench is distinguished along three dimensions: it is research-oriented, calling for in-depth comprehension of scientific concepts; literature-focused, demanding fine-grained utilization of detailed information; and open-ended, involving an unknown number of qualified papers and thus requiring deliberate reasoning and search throughout. These properties make AutoResearchBench uniquely suited for evaluating autonomous research capabilities, and extraordinarily challenging. Even the most powerful LLMs, despite having largely conquered general agentic web-browsing benchmarks such as BrowseComp, achieve only 9.39% accuracy on Deep Research and 9.31% IoU on Wide Research, while many other strong baselines fall below 5%. We publicly release the dataset and evaluation pipeline to facilitate future research in this direction. We publicly release the dataset, evaluation pipeline, and code at https://github.com/CherYou/AutoResearchBench.