AutoResearchBench: Valutazione delle Prestazioni di Agenti IA nella Scoperta di Letteratura Scientifica Complessa
AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery
April 28, 2026
Autori: Lei Xiong, Kun Luo, Ziyi Xia, Wenbo Zhang, Jin-Ge Yao, Zheng Liu, Jingying Shao, Jianlyu Chen, Hongjin Qian, Xi Yang, Qian Yu, Hao Li, Chen Yue, Xiaan Du, Yuyang Wang, Yesheng Liu, Haiyu Xu, Zhicheng Dou
cs.AI
Abstract
La ricerca scientifica autonoma è significativamente avanzata grazie allo sviluppo di agenti di IA. Un passo fondamentale in questo processo è la ricerca della letteratura scientifica appropriata, sia per esplorare le conoscenze esistenti relative a un problema di ricerca, sia per acquisire evidenze per verificare ipotesi e supportare affermazioni. Per valutare la capacità degli agenti di IA di guidare questo processo, presentiamo AutoResearchBench, un benchmark dedicato alla scoperta autonoma della letteratura scientifica. AutoResearchBench consiste in due tipologie di compiti complementari: (1) Ricerca Approfondita (Deep Research), che richiede di individuare un articolo target specifico attraverso un processo di esplorazione progressivo e multi-step, e (2) Ricerca Ampia (Wide Research), che richiede di raccogliere in modo esaustivo un insieme di articoli che soddisfino determinate condizioni. Rispetto ai benchmark precedenti sul browsing web agentivo, AutoResearchBench si distingue lungo tre dimensioni: è orientato alla ricerca, richiedendo una comprensione approfondita dei concetti scientifici; è focalizzato sulla letteratura, richiedendo un utilizzo granulare di informazioni dettagliate; ed è aperto (open-ended), coinvolgendo un numero sconosciuto di articoli qualificati e richiedendo quindi un ragionamento deliberato e una ricerca estensiva. Queste proprietà rendono AutoResearchBench particolarmente adatto per valutare le capacità di ricerca autonoma, e straordinariamente impegnativo. Anche i modelli linguistici più potenti, nonostante abbiano largamente superato benchmark generali di browsing web agentivo come BrowseComp, raggiungono solo un'accuratezza del 9.39% sulla Ricerca Approfondita e un IoU del 9.31% sulla Ricerca Ampia, mentre molte altre solide baseline si attestano al di sotto del 5%. Rilasciamo pubblicamente il dataset, la pipeline di valutazione e il codice all'indirizzo https://github.com/CherYou/AutoResearchBench per facilitare la ricerca futura in questa direzione.
English
Autonomous scientific research is significantly advanced thanks to the development of AI agents. One key step in this process is finding the right scientific literature, whether to explore existing knowledge for a research problem, or to acquire evidence for verifying assumptions and supporting claims. To assess AI agents' capability in driving this process, we present AutoResearchBench, a dedicated benchmark for autonomous scientific literature discovery. AutoResearchBench consists of two complementary task types: (1) Deep Research, which requires tracking down a specific target paper through a progressive, multi-step probing process, and (2) Wide Research, which requires comprehensively collecting a set of papers satisfying given conditions. Compared to previous benchmarks on agentic web browsing, AutoResearchBench is distinguished along three dimensions: it is research-oriented, calling for in-depth comprehension of scientific concepts; literature-focused, demanding fine-grained utilization of detailed information; and open-ended, involving an unknown number of qualified papers and thus requiring deliberate reasoning and search throughout. These properties make AutoResearchBench uniquely suited for evaluating autonomous research capabilities, and extraordinarily challenging. Even the most powerful LLMs, despite having largely conquered general agentic web-browsing benchmarks such as BrowseComp, achieve only 9.39% accuracy on Deep Research and 9.31% IoU on Wide Research, while many other strong baselines fall below 5%. We publicly release the dataset and evaluation pipeline to facilitate future research in this direction. We publicly release the dataset, evaluation pipeline, and code at https://github.com/CherYou/AutoResearchBench.