AutoResearchBench: Evaluación de Agentes de IA en el Descubrimiento de Literatura Científica Compleja
AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery
April 28, 2026
Autores: Lei Xiong, Kun Luo, Ziyi Xia, Wenbo Zhang, Jin-Ge Yao, Zheng Liu, Jingying Shao, Jianlyu Chen, Hongjin Qian, Xi Yang, Qian Yu, Hao Li, Chen Yue, Xiaan Du, Yuyang Wang, Yesheng Liu, Haiyu Xu, Zhicheng Dou
cs.AI
Resumen
La investigación científica autónoma avanza significativamente gracias al desarrollo de agentes de IA. Un paso clave en este proceso es encontrar la literatura científica adecuada, ya sea para explorar el conocimiento existente sobre un problema de investigación o para adquirir evidencia que verifique supuestos y respalde afirmaciones. Para evaluar la capacidad de los agentes de IA para impulsar este proceso, presentamos AutoResearchBench, un benchmark específico para el descubrimiento autónomo de literatura científica. AutoResearchBench consta de dos tipos de tareas complementarias: (1) Investigación Profunda, que requiere localizar un artículo objetivo específico mediante un proceso de sondeo progresivo y multi-etapa, y (2) Investigación Amplia, que requiere recopilar exhaustivamente un conjunto de artículos que cumplan condiciones dadas. En comparación con benchmarks anteriores sobre navegación web agéntica, AutoResearchBench se distingue en tres dimensiones: está orientado a la investigación, exigiendo una comprensión profunda de conceptos científicos; centrado en la literatura, demandando un uso detallado de información granular; y de naturaleza abierta, involucrando un número desconocido de artículos calificados que requiere un razonamiento y búsqueda deliberados. Estas propiedades hacen que AutoResearchBench sea singularmente adecuado para evaluar capacidades de investigación autónoma, y extraordinariamente desafiante. Incluso los LLMs más potentes, a pesar de haber superado ampliamente benchmarks generales de navegación web agéntica como BrowseComp, logran solo un 9.39% de precisión en Investigación Profunda y un 9.31% de IoU en Investigación Amplia, mientras que muchas otras líneas base sólidas se sitúan por debajo del 5%. Publicamos el conjunto de datos, la pipeline de evaluación y el código en https://github.com/CherYou/AutoResearchBench para facilitar futuras investigaciones en esta dirección.
English
Autonomous scientific research is significantly advanced thanks to the development of AI agents. One key step in this process is finding the right scientific literature, whether to explore existing knowledge for a research problem, or to acquire evidence for verifying assumptions and supporting claims. To assess AI agents' capability in driving this process, we present AutoResearchBench, a dedicated benchmark for autonomous scientific literature discovery. AutoResearchBench consists of two complementary task types: (1) Deep Research, which requires tracking down a specific target paper through a progressive, multi-step probing process, and (2) Wide Research, which requires comprehensively collecting a set of papers satisfying given conditions. Compared to previous benchmarks on agentic web browsing, AutoResearchBench is distinguished along three dimensions: it is research-oriented, calling for in-depth comprehension of scientific concepts; literature-focused, demanding fine-grained utilization of detailed information; and open-ended, involving an unknown number of qualified papers and thus requiring deliberate reasoning and search throughout. These properties make AutoResearchBench uniquely suited for evaluating autonomous research capabilities, and extraordinarily challenging. Even the most powerful LLMs, despite having largely conquered general agentic web-browsing benchmarks such as BrowseComp, achieve only 9.39% accuracy on Deep Research and 9.31% IoU on Wide Research, while many other strong baselines fall below 5%. We publicly release the dataset and evaluation pipeline to facilitate future research in this direction. We publicly release the dataset, evaluation pipeline, and code at https://github.com/CherYou/AutoResearchBench.