AutoResearchBench: Тестирование ИИ-агентов на задачах сложного поиска научной литературы
AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery
April 28, 2026
Авторы: Lei Xiong, Kun Luo, Ziyi Xia, Wenbo Zhang, Jin-Ge Yao, Zheng Liu, Jingying Shao, Jianlyu Chen, Hongjin Qian, Xi Yang, Qian Yu, Hao Li, Chen Yue, Xiaan Du, Yuyang Wang, Yesheng Liu, Haiyu Xu, Zhicheng Dou
cs.AI
Аннотация
Автономные научные исследования значительно продвинулись благодаря развитию ИИ-агентов. Ключевым этапом этого процесса является поиск релевантной научной литературы — как для изучения существующих знаний по исследовательской проблеме, так и для сбора доказательств при проверке гипотез и обосновании утверждений. Чтобы оценить способность ИИ-агентов управлять этим процессом, мы представляем AutoResearchBench — специализированный бенчмарк для автономного обнаружения научной литературы. AutoResearchBench включает два взаимодополняющих типа задач: (1) Глубинное исследование, требующее поиска конкретной целевой статьи через прогрессивный многоэтапный процесс анализа, и (2) Широкое исследование, предполагающее комплексный сбор набора статей, удовлетворяющих заданным условиям. В отличие от существующих бенчмарков агентского веб-серфинга, AutoResearchBench отличается тремя особенностями: он ориентирован на исследования, требуя глубокого понимания научных концепций; сфокусирован на литературе, предполагая детализированное использование информации; и имеет открытый характер, поскольку число релевантных старей заранее неизвестно, что требует продуманного анализа и поиска. Эти свойства делают AutoResearchBench уникально подходящим для оценки автономных исследовательских способностей и исключительно сложным. Даже самые мощные большие языковые модели, успешно справляющиеся с общими бенчмарками агентского веб-серфинга (например, BrowseComp), демонстрируют точность лишь 9.39% на задачах Глубинного исследования и 9.31% IoU на задачах Широкого исследования, тогда как многие другие сильные базовые модели показывают результат ниже 5%. Мы публикуем датасет, инструменты оценки и код по адресу https://github.com/CherYou/AutoResearchBench для содействия будущим исследованиям в этом направлении.
English
Autonomous scientific research is significantly advanced thanks to the development of AI agents. One key step in this process is finding the right scientific literature, whether to explore existing knowledge for a research problem, or to acquire evidence for verifying assumptions and supporting claims. To assess AI agents' capability in driving this process, we present AutoResearchBench, a dedicated benchmark for autonomous scientific literature discovery. AutoResearchBench consists of two complementary task types: (1) Deep Research, which requires tracking down a specific target paper through a progressive, multi-step probing process, and (2) Wide Research, which requires comprehensively collecting a set of papers satisfying given conditions. Compared to previous benchmarks on agentic web browsing, AutoResearchBench is distinguished along three dimensions: it is research-oriented, calling for in-depth comprehension of scientific concepts; literature-focused, demanding fine-grained utilization of detailed information; and open-ended, involving an unknown number of qualified papers and thus requiring deliberate reasoning and search throughout. These properties make AutoResearchBench uniquely suited for evaluating autonomous research capabilities, and extraordinarily challenging. Even the most powerful LLMs, despite having largely conquered general agentic web-browsing benchmarks such as BrowseComp, achieve only 9.39% accuracy on Deep Research and 9.31% IoU on Wide Research, while many other strong baselines fall below 5%. We publicly release the dataset and evaluation pipeline to facilitate future research in this direction. We publicly release the dataset, evaluation pipeline, and code at https://github.com/CherYou/AutoResearchBench.