AutoResearchBench: Het benchmarken van AI-agenten op complexe wetenschappelijke literatuurontdekking
AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery
April 28, 2026
Auteurs: Lei Xiong, Kun Luo, Ziyi Xia, Wenbo Zhang, Jin-Ge Yao, Zheng Liu, Jingying Shao, Jianlyu Chen, Hongjin Qian, Xi Yang, Qian Yu, Hao Li, Chen Yue, Xiaan Du, Yuyang Wang, Yesheng Liu, Haiyu Xu, Zhicheng Dou
cs.AI
Samenvatting
Autonoom wetenschappelijk onderzoek wordt aanzienlijk bevorderd door de ontwikkeling van AI-agenten. Een cruciale stap in dit proces is het vinden van de juiste wetenschappelijke literatuur, of het nu gaat om het verkennen van bestaande kennis voor een onderzoeksprobleem, of om het vergaren van bewijs voor het verifiëren van aannames en het ondersteunen van beweringen. Om het vermogen van AI-agenten om dit proces te sturen te evalueren, presenteren we AutoResearchBench, een toegewijd benchmark voor autonome wetenschappelijke literatuurontdekking. AutoResearchBench bestaat uit twee complementaire taaktypen: (1) Diepgaand Onderzoek, waarbij een specifiek doelartikel moet worden opgespoord via een progressief, meerstaps verkenningsproces, en (2) Breed Onderzoek, waarbij een set artikelen die aan gegeven voorwaarden voldoen, uitgebreid moet worden verzameld. In vergelijking met eerdere benchmarks voor agentgestuurd webnavigeren, onderscheidt AutoResearchBench zich langs drie dimensies: het is onderzoeksgericht, wat een diepgaand begrip van wetenschappelijke concepten vereist; literatuurgericht, wat een gedetailleerd gebruik van gedetailleerde informatie vereist; en open-eindig, waarbij een onbekend aantal gekwalificeerde artikelen betrokken is en dus weloverwogen redeneren en zoeken vereist is. Deze eigenschappen maken AutoResearchBench bijzonder geschikt voor het evalueren van autonome onderzoekscapaciteiten, en uitzonderlijk uitdagend. Zelfs de krachtigste LLM's, die algemene agentgestuurde webnavigatiebenchmarks zoals BrowseComp grotendeels hebben overwonnen, behalen slechts 9,39% nauwkeurigheid op Diepgaand Onderzoek en 9,31% IoU op Breed Onderzoek, terwijl veel andere sterke baseline-methoden onder de 5% blijven. We maken de dataset, evaluatiepipeline en code openbaar beschikbaar op https://github.com/CherYou/AutoResearchBench om toekomstig onderzoek in deze richting te faciliteren.
English
Autonomous scientific research is significantly advanced thanks to the development of AI agents. One key step in this process is finding the right scientific literature, whether to explore existing knowledge for a research problem, or to acquire evidence for verifying assumptions and supporting claims. To assess AI agents' capability in driving this process, we present AutoResearchBench, a dedicated benchmark for autonomous scientific literature discovery. AutoResearchBench consists of two complementary task types: (1) Deep Research, which requires tracking down a specific target paper through a progressive, multi-step probing process, and (2) Wide Research, which requires comprehensively collecting a set of papers satisfying given conditions. Compared to previous benchmarks on agentic web browsing, AutoResearchBench is distinguished along three dimensions: it is research-oriented, calling for in-depth comprehension of scientific concepts; literature-focused, demanding fine-grained utilization of detailed information; and open-ended, involving an unknown number of qualified papers and thus requiring deliberate reasoning and search throughout. These properties make AutoResearchBench uniquely suited for evaluating autonomous research capabilities, and extraordinarily challenging. Even the most powerful LLMs, despite having largely conquered general agentic web-browsing benchmarks such as BrowseComp, achieve only 9.39% accuracy on Deep Research and 9.31% IoU on Wide Research, while many other strong baselines fall below 5%. We publicly release the dataset and evaluation pipeline to facilitate future research in this direction. We publicly release the dataset, evaluation pipeline, and code at https://github.com/CherYou/AutoResearchBench.