WildGraphBench: Benchmarking von GraphRAG mit Wild-Source-Korpora
WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora
February 2, 2026
papers.authors: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao
cs.AI
papers.abstract
Graph-basierte Retrieval-Augmented Generation (GraphRAG) organisiert externes Wissen als hierarchischen Graphen und ermöglicht so die effiziente Abfrage und Aggregation verstreuter Belege über mehrere Dokumente hinweg. Viele bestehende Benchmarks für GraphRAG stützen sich jedoch auf kurze, aufbereitete Textpassagen als externes Wissen und können Systeme in realistischen Szenarien mit langen Kontexten und großen Mengen heterogener Dokumente nicht angemessen evaluieren. Um diese Lücke zu schließen, stellen wir WildGraphBench vor, einen Benchmark zur Bewertung der GraphRAG-Leistung unter realen Bedingungen. Wir nutzen die einzigartige Struktur von Wikipedia, bei der kohärente Narrative auf langen und heterogenen externen Referenzdokumenten basieren, um einen Benchmark zu konstruieren, der realistische Szenarien widerspiegelt. Konkret sampeln wir Artikel aus 12 übergeordneten Themenbereichen, verwenden deren externe Referenzen als Retrieval-Korpus und zitierverknüpfte Aussagen als Ground Truth, was zu 1.100 Fragen über drei Komplexitätsstufen führt: Einzelfakt-Fragen, Multifakt-Fragen und Abschnittszusammenfassungen. Experimente mit mehreren Baseline-Modellen zeigen, dass aktuelle GraphRAG-Pipelines bei der Multifakt-Aggregation helfen, wenn die Belege aus einer moderaten Anzahl von Quellen stammen. Dieses Aggregationsparadigma kann jedoch hochrangige Aussagen überbetonen auf Kosten feinkörniger Details, was zu schwächerer Leistung bei Zusammenfassungsaufgaben führt. Projektseite: https://github.com/BstWPY/WildGraphBench.
English
Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.