DeepResearch Bench: Um Benchmark Abrangente para Agentes de Pesquisa Profunda

DeepResearch Bench: A Comprehensive Benchmark for Deep Research Agents

June 13, 2025

Autores: Mingxuan Du, Benfeng Xu, Chiwei Zhu, Xiaorui Wang, Zhendong Mao

cs.AI

Resumo

Os Agentes de Pesquisa Profunda (Deep Research Agents - DRAs) são uma categoria proeminente de agentes baseados em LLM (Large Language Models). Ao orquestrar de forma autônoma a exploração multietapas na web, a recuperação direcionada e a síntese de ordem superior, eles transformam grandes quantidades de informações online em relatórios analíticos de alto nível, ricos em citações—comprimindo horas de pesquisa manual em minutos. No entanto, ainda falta um benchmark abrangente para avaliar sistematicamente as capacidades desses agentes. Para preencher essa lacuna, apresentamos o DeepResearch Bench, um benchmark composto por 100 tarefas de pesquisa em nível de doutorado, cada uma meticulosamente elaborada por especialistas em 22 áreas distintas. A avaliação de DRAs é inerentemente complexa e trabalhosa. Portanto, propomos duas metodologias inovadoras que alcançam uma forte alinhamento com o julgamento humano. A primeira é um método baseado em referência com critérios adaptativos para avaliar a qualidade dos relatórios de pesquisa gerados. O outro framework é introduzido para avaliar as capacidades de recuperação e coleta de informações do DRA, medindo sua contagem efetiva de citações e a precisão geral das citações. Disponibilizamos o DeepResearch Bench e componentes-chave desses frameworks em código aberto no endereço https://github.com/Ayanami0730/deep_research_bench para acelerar o desenvolvimento de agentes práticos baseados em LLM.

English

Deep Research Agents are a prominent category of LLM-based agents. By autonomously orchestrating multistep web exploration, targeted retrieval, and higher-order synthesis, they transform vast amounts of online information into analyst-grade, citation-rich reports--compressing hours of manual desk research into minutes. However, a comprehensive benchmark for systematically evaluating the capabilities of these agents remains absent. To bridge this gap, we present DeepResearch Bench, a benchmark consisting of 100 PhD-level research tasks, each meticulously crafted by domain experts across 22 distinct fields. Evaluating DRAs is inherently complex and labor-intensive. We therefore propose two novel methodologies that achieve strong alignment with human judgment. The first is a reference-based method with adaptive criteria to assess the quality of generated research reports. The other framework is introduced to evaluate DRA's information retrieval and collection capabilities by assessing its effective citation count and overall citation accuracy. We have open-sourced DeepResearch Bench and key components of these frameworks at https://github.com/Ayanami0730/deep_research_bench to accelerate the development of practical LLM-based agents.