ReportBench: Evaluación de Agentes de Investigación Profunda mediante Tareas de Encuestas Académicas

ReportBench: Evaluating Deep Research Agents via Academic Survey Tasks

August 14, 2025

Autores: Minghao Li, Ying Zeng, Zhihao Cheng, Cong Ma, Kai Jia

cs.AI

Resumen

El surgimiento de los agentes de Investigación Profunda ha reducido sustancialmente el tiempo necesario para llevar a cabo tareas de investigación extensas. Sin embargo, estas tareas requieren inherentemente estándares rigurosos de precisión factual y exhaustividad, lo que hace necesaria una evaluación minuciosa antes de su adopción generalizada. En este artículo, proponemos ReportBench, un benchmark sistemático diseñado para evaluar la calidad del contenido de los informes de investigación generados por modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés). Nuestra evaluación se centra en dos dimensiones críticas: (1) la calidad y relevancia de la literatura citada, y (2) la fidelidad y veracidad de las afirmaciones dentro de los informes generados. ReportBench aprovecha artículos de revisión de alta calidad publicados en arXiv como referencias de estándar de oro, a partir de los cuales aplicamos ingeniería inversa de prompts para derivar instrucciones específicas del dominio y establecer un corpus de evaluación exhaustivo. Además, desarrollamos un marco automatizado basado en agentes dentro de ReportBench que analiza sistemáticamente los informes generados mediante la extracción de citas y afirmaciones, verificando la fidelidad del contenido citado frente a las fuentes originales y validando afirmaciones no citadas utilizando recursos basados en la web. Las evaluaciones empíricas demuestran que los agentes comerciales de Investigación Profunda, como los desarrollados por OpenAI y Google, generan informes más completos y confiables que los LLMs independientes potenciados con herramientas de búsqueda o navegación. Sin embargo, aún existe un margen considerable de mejora en términos de la amplitud y profundidad de la cobertura de investigación, así como en la consistencia factual. El código completo y los datos se publicarán en el siguiente enlace: https://github.com/ByteDance-BandAI/ReportBench.

English

The advent of Deep Research agents has substantially reduced the time required for conducting extensive research tasks. However, these tasks inherently demand rigorous standards of factual accuracy and comprehensiveness, necessitating thorough evaluation before widespread adoption. In this paper, we propose ReportBench, a systematic benchmark designed to evaluate the content quality of research reports generated by large language models (LLMs). Our evaluation focuses on two critical dimensions: (1) the quality and relevance of cited literature, and (2) the faithfulness and veracity of the statements within the generated reports. ReportBench leverages high-quality published survey papers available on arXiv as gold-standard references, from which we apply reverse prompt engineering to derive domain-specific prompts and establish a comprehensive evaluation corpus. Furthermore, we develop an agent-based automated framework within ReportBench that systematically analyzes generated reports by extracting citations and statements, checking the faithfulness of cited content against original sources, and validating non-cited claims using web-based resources. Empirical evaluations demonstrate that commercial Deep Research agents such as those developed by OpenAI and Google consistently generate more comprehensive and reliable reports than standalone LLMs augmented with search or browsing tools. However, there remains substantial room for improvement in terms of the breadth and depth of research coverage, as well as factual consistency. The complete code and data will be released at the following link: https://github.com/ByteDance-BandAI/ReportBench