ReportBench: Avaliando Agentes de Pesquisa Profunda por meio de Tarefas de Pesquisa Acadêmica

ReportBench: Evaluating Deep Research Agents via Academic Survey Tasks

August 14, 2025

Autores: Minghao Li, Ying Zeng, Zhihao Cheng, Cong Ma, Kai Jia

cs.AI

Resumo

O advento dos agentes de Deep Research reduziu substancialmente o tempo necessário para a realização de tarefas extensas de pesquisa. No entanto, essas tarefas exigem, por natureza, padrões rigorosos de precisão factual e abrangência, necessitando de uma avaliação minuciosa antes de sua adoção generalizada. Neste artigo, propomos o ReportBench, um benchmark sistemático projetado para avaliar a qualidade do conteúdo de relatórios de pesquisa gerados por modelos de linguagem de grande escala (LLMs). Nossa avaliação concentra-se em duas dimensões críticas: (1) a qualidade e relevância da literatura citada, e (2) a fidelidade e veracidade das afirmações contidas nos relatórios gerados. O ReportBench utiliza artigos de revisão de alta qualidade publicados no arXiv como referências padrão-ouro, a partir dos quais aplicamos engenharia reversa de prompts para derivar prompts específicos de domínio e estabelecer um corpus de avaliação abrangente. Além disso, desenvolvemos uma estrutura automatizada baseada em agentes dentro do ReportBench que analisa sistematicamente os relatórios gerados, extraindo citações e afirmações, verificando a fidelidade do conteúdo citado em relação às fontes originais e validando afirmações não citadas usando recursos baseados na web. Avaliações empíricas demonstram que agentes comerciais de Deep Research, como os desenvolvidos pela OpenAI e Google, geram consistentemente relatórios mais abrangentes e confiáveis do que LLMs autônomos aumentados com ferramentas de busca ou navegação. No entanto, ainda há um espaço considerável para melhoria em termos de amplitude e profundidade da cobertura de pesquisa, bem como na consistência factual. O código completo e os dados serão disponibilizados no seguinte link: https://github.com/ByteDance-BandAI/ReportBench

English

The advent of Deep Research agents has substantially reduced the time required for conducting extensive research tasks. However, these tasks inherently demand rigorous standards of factual accuracy and comprehensiveness, necessitating thorough evaluation before widespread adoption. In this paper, we propose ReportBench, a systematic benchmark designed to evaluate the content quality of research reports generated by large language models (LLMs). Our evaluation focuses on two critical dimensions: (1) the quality and relevance of cited literature, and (2) the faithfulness and veracity of the statements within the generated reports. ReportBench leverages high-quality published survey papers available on arXiv as gold-standard references, from which we apply reverse prompt engineering to derive domain-specific prompts and establish a comprehensive evaluation corpus. Furthermore, we develop an agent-based automated framework within ReportBench that systematically analyzes generated reports by extracting citations and statements, checking the faithfulness of cited content against original sources, and validating non-cited claims using web-based resources. Empirical evaluations demonstrate that commercial Deep Research agents such as those developed by OpenAI and Google consistently generate more comprehensive and reliable reports than standalone LLMs augmented with search or browsing tools. However, there remains substantial room for improvement in terms of the breadth and depth of research coverage, as well as factual consistency. The complete code and data will be released at the following link: https://github.com/ByteDance-BandAI/ReportBench