ReportBench: Evaluatie van Diepgaande Onderzoeksagenten via Academische Enquête Taken

ReportBench: Evaluating Deep Research Agents via Academic Survey Tasks

August 14, 2025

Auteurs: Minghao Li, Ying Zeng, Zhihao Cheng, Cong Ma, Kai Jia

cs.AI

Samenvatting

De opkomst van Deep Research-agents heeft de tijd die nodig is voor het uitvoeren van uitgebreide onderzoeks taken aanzienlijk verkort. Deze taken vereisen echter inherent strenge normen voor feitelijke nauwkeurigheid en volledigheid, wat een grondige evaluatie vereist voordat ze op grote schaal worden geadopteerd. In dit artikel stellen we ReportBench voor, een systematische benchmark die is ontworpen om de inhoudskwaliteit van onderzoeksrapporten gegenereerd door grote taalmodellen (LLMs) te evalueren. Onze evaluatie richt zich op twee kritische dimensies: (1) de kwaliteit en relevantie van geciteerde literatuur, en (2) de betrouwbaarheid en waarheidsgetrouwheid van de uitspraken in de gegenereerde rapporten. ReportBench maakt gebruik van hoogwaardige gepubliceerde overzichtspapers beschikbaar op arXiv als gouden standaardreferenties, waaruit we reverse prompt engineering toepassen om domeinspecifieke prompts af te leiden en een uitgebreid evaluatiecorpus op te zetten. Bovendien ontwikkelen we een agent-gebaseerd geautomatiseerd framework binnen ReportBench dat systematisch gegenereerde rapporten analyseert door citaten en uitspraken te extraheren, de betrouwbaarheid van geciteerde inhoud te controleren tegen de oorspronkelijke bronnen, en niet-geciteerde beweringen te valideren met behulp van webgebaseerde bronnen. Empirische evaluaties tonen aan dat commerciële Deep Research-agents, zoals die ontwikkeld door OpenAI en Google, consistent meer uitgebreide en betrouwbare rapporten genereren dan standalone LLMs die zijn uitgebreid met zoek- of browsetools. Er is echter nog steeds aanzienlijke ruimte voor verbetering wat betreft de breedte en diepte van onderzoeksdekking, evenals feitelijke consistentie. De volledige code en data zullen worden vrijgegeven op de volgende link: https://github.com/ByteDance-BandAI/ReportBench

English

The advent of Deep Research agents has substantially reduced the time required for conducting extensive research tasks. However, these tasks inherently demand rigorous standards of factual accuracy and comprehensiveness, necessitating thorough evaluation before widespread adoption. In this paper, we propose ReportBench, a systematic benchmark designed to evaluate the content quality of research reports generated by large language models (LLMs). Our evaluation focuses on two critical dimensions: (1) the quality and relevance of cited literature, and (2) the faithfulness and veracity of the statements within the generated reports. ReportBench leverages high-quality published survey papers available on arXiv as gold-standard references, from which we apply reverse prompt engineering to derive domain-specific prompts and establish a comprehensive evaluation corpus. Furthermore, we develop an agent-based automated framework within ReportBench that systematically analyzes generated reports by extracting citations and statements, checking the faithfulness of cited content against original sources, and validating non-cited claims using web-based resources. Empirical evaluations demonstrate that commercial Deep Research agents such as those developed by OpenAI and Google consistently generate more comprehensive and reliable reports than standalone LLMs augmented with search or browsing tools. However, there remains substantial room for improvement in terms of the breadth and depth of research coverage, as well as factual consistency. The complete code and data will be released at the following link: https://github.com/ByteDance-BandAI/ReportBench