AutoResearchBench: Avaliação Comparativa de Agentes de IA na Descoberta de Literatura Científica Complexa
AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery
April 28, 2026
Autores: Lei Xiong, Kun Luo, Ziyi Xia, Wenbo Zhang, Jin-Ge Yao, Zheng Liu, Jingying Shao, Jianlyu Chen, Hongjin Qian, Xi Yang, Qian Yu, Hao Li, Chen Yue, Xiaan Du, Yuyang Wang, Yesheng Liu, Haiyu Xu, Zhicheng Dou
cs.AI
Resumo
A investigação científica autónoma é significativamente impulsionada pelo desenvolvimento de agentes de IA. Um passo fundamental neste processo é encontrar a literatura científica adequada, seja para explorar o conhecimento existente sobre um problema de investigação, seja para obter evidências que verifiquem pressupostos e sustentem afirmações. Para avaliar a capacidade dos agentes de IA em conduzir este processo, apresentamos o AutoResearchBench, um benchmark dedicado à descoberta autónoma de literatura científica. O AutoResearchBench consiste em dois tipos de tarefas complementares: (1) Investigação Profunda, que requer localizar um artigo-alvo específico através de um processo de sondagem progressivo e multi-etapas, e (2) Investigação Ampla, que exige a recolha abrangente de um conjunto de artigos que satisfaçam determinadas condições. Em comparação com benchmarks anteriores sobre navegação web autónoma, o AutoResearchBench distingue-se em três dimensões: é orientado para a investigação, exigindo uma compreensão profunda de conceitos científicos; focado na literatura, demandando a utilização detalhada de informações específicas; e de natureza aberta, envolvendo um número desconhecido de artigos qualificados e, portanto, requerendo um raciocínio e uma busca deliberados ao longo de todo o processo. Estas propriedades tornam o AutoResearchBench singularmente adequado para avaliar capacidades de investigação autónoma e extraordinariamente desafiador. Mesmo os LLMs mais poderosos, apesar de terem largamente superado benchmarks gerais de navegação web autónoma, como o BrowseComp, atingem apenas 9,39% de precisão na Investigação Profunda e 9,31% de IoU na Investigação Ampla, enquanto muitas outras linhas de base fortes ficam abaixo dos 5%. Disponibilizamos publicamente o conjunto de dados, o pipeline de avaliação e o código em https://github.com/CherYou/AutoResearchBench para facilitar investigação futura nesta direção.
English
Autonomous scientific research is significantly advanced thanks to the development of AI agents. One key step in this process is finding the right scientific literature, whether to explore existing knowledge for a research problem, or to acquire evidence for verifying assumptions and supporting claims. To assess AI agents' capability in driving this process, we present AutoResearchBench, a dedicated benchmark for autonomous scientific literature discovery. AutoResearchBench consists of two complementary task types: (1) Deep Research, which requires tracking down a specific target paper through a progressive, multi-step probing process, and (2) Wide Research, which requires comprehensively collecting a set of papers satisfying given conditions. Compared to previous benchmarks on agentic web browsing, AutoResearchBench is distinguished along three dimensions: it is research-oriented, calling for in-depth comprehension of scientific concepts; literature-focused, demanding fine-grained utilization of detailed information; and open-ended, involving an unknown number of qualified papers and thus requiring deliberate reasoning and search throughout. These properties make AutoResearchBench uniquely suited for evaluating autonomous research capabilities, and extraordinarily challenging. Even the most powerful LLMs, despite having largely conquered general agentic web-browsing benchmarks such as BrowseComp, achieve only 9.39% accuracy on Deep Research and 9.31% IoU on Wide Research, while many other strong baselines fall below 5%. We publicly release the dataset and evaluation pipeline to facilitate future research in this direction. We publicly release the dataset, evaluation pipeline, and code at https://github.com/CherYou/AutoResearchBench.