DeepResearch Bench: Всеобъемлющий эталонный тест для глубоких исследовательских агентов

DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents

June 13, 2025

Авторы: Mingxuan Du, Benfeng Xu, Chiwei Zhu, Xiaorui Wang, Zhendong Mao

cs.AI

Аннотация

Глубокие исследовательские агенты (Deep Research Agents, DRA) представляют собой значительную категорию агентов на основе больших языковых моделей (LLM). Автономно организуя многоэтапное исследование в интернете, целенаправленный поиск и синтез высокого порядка, они преобразуют огромные объемы онлайн-информации в аналитические отчеты, насыщенные ссылками, — сокращая часы ручного кабинетного исследования до минут. Однако всеобъемлющий бенчмарк для систематической оценки возможностей таких агентов до сих пор отсутствует. Чтобы восполнить этот пробел, мы представляем DeepResearch Bench — бенчмарк, состоящий из 100 исследовательских задач уровня PhD, каждая из которых тщательно разработана экспертами в 22 различных областях. Оценка DRA является по своей природе сложной и трудоемкой. Поэтому мы предлагаем два новых метода, которые обеспечивают высокое соответствие человеческому суждению. Первый метод — это референсный подход с адаптивными критериями для оценки качества генерируемых исследовательских отчетов. Второй метод вводится для оценки способностей DRA к поиску и сбору информации путем анализа эффективного количества цитирований и общей точности ссылок. Мы открыли исходный код DeepResearch Bench и ключевых компонентов этих методов на https://github.com/Ayanami0730/deep_research_bench, чтобы ускорить разработку практических агентов на основе LLM.

English

Deep Research Agents are a prominent category of LLM-based agents. By autonomously orchestrating multistep web exploration, targeted retrieval, and higher-order synthesis, they transform vast amounts of online information into analyst-grade, citation-rich reports--compressing hours of manual desk research into minutes. However, a comprehensive benchmark for systematically evaluating the capabilities of these agents remains absent. To bridge this gap, we present DeepResearch Bench, a benchmark consisting of 100 PhD-level research tasks, each meticulously crafted by domain experts across 22 distinct fields. Evaluating DRAs is inherently complex and labor-intensive. We therefore propose two novel methodologies that achieve strong alignment with human judgment. The first is a reference-based method with adaptive criteria to assess the quality of generated research reports. The other framework is introduced to evaluate DRA's information retrieval and collection capabilities by assessing its effective citation count and overall citation accuracy. We have open-sourced DeepResearch Bench and key components of these frameworks at https://github.com/Ayanami0730/deep_research_bench to accelerate the development of practical LLM-based agents.