WildGraphBench: GraphRAG benchmarken met wild-bron corpora
WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora
February 2, 2026
Auteurs: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao
cs.AI
Samenvatting
Op grafieken gebaseerde Retrieval-Augmented Generation (GraphRAG) organiseert externe kennis als een hiërarchische grafiek, wat efficiënte retrieval en aggregatie van verspreid bewijs uit meerdere documenten mogelijk maakt. Bestaande benchmarks voor GraphRAG zijn echter vaak gebaseerd op korte, gecureerde passages als externe kennis, waardoor ze ontoereikend zijn om systemen te evalueren in realistische situaties met lange contexten en grootschalige heterogene documenten. Om deze kloof te overbruggen, introduceren wij WildGraphBench, een benchmark ontworpen om GraphRAG-prestaties in de praktijk te beoordelen. Wij benutten de unieke structuur van Wikipedia, waarbij samenhangende narratieven zijn gebaseerd op lange en heterogene externe referentiedocumenten, om een benchmark te construeren die realistische scenario's weerspiegelt. Concreet nemen we artikelen over 12 top-level onderwerpen, gebruiken hun externe referenties als retrievalcorpus en citatie-gelinkte uitspraken als grondwaarheid, wat resulteert in 1.100 vragen verdeeld over drie complexiteitsniveaus: enkelvoudige feitenvragen, meervoudige feitenvragen en sectieniveau-samenvatting. Experimenten met meerdere basislijnen tonen aan dat huidige GraphRAG-pipelines helpen bij multi-fact aggregatie wanneer het bewijs afkomstig is uit een beperkt aantal bronnen, maar dat dit aggregatieparadigma hoogstwaarschijnlijk hoog-niveau uitspraken overbenadrukt ten koste van fijnmazige details, wat leidt tot zwakkere prestaties bij samenvattings taken. Projectpagina: https://github.com/BstWPY/WildGraphBench.
English
Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.