WildGraphBench : Évaluation comparative de GraphRAG avec des corpus de sources hétérogènes
WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora
February 2, 2026
papers.authors: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao
cs.AI
papers.abstract
La Génération de Texte Augmentée par Récupération basée sur les Graphes (GraphRAG) organise les connaissances externes sous la forme d'un graphe hiérarchique, permettant une récupération et une agrégation efficaces de preuves éparpillées à travers de multiples documents. Cependant, de nombreux benchmarks existants pour GraphRAG s'appuient sur des passages courts et sélectionnés comme connaissances externes, échouant à évaluer de manière adéquate les systèmes dans des contextes réalistes impliquant de longs documents et de vastes corpus hétérogènes. Pour combler cette lacune, nous présentons WildGraphBench, un benchmark conçu pour évaluer les performances de GraphRAG en conditions réelles. Nous tirons parti de la structure unique de Wikipédia, où des récits cohérents s'appuient sur de longs documents de référence externes et hétérogènes, pour construire un benchmark reflétant des scénarios du monde réel. Plus précisément, nous échantillonnons des articles couvrant 12 thèmes de haut niveau, en utilisant leurs références externes comme corpus de récupération et les affirmations liées aux citations comme vérité terrain, ce qui donne 1 100 questions réparties sur trois niveaux de complexité : questions-réponses sur un fait unique, questions-réponses sur multiples faits, et synthèse au niveau de la section. Des expériences sur plusieurs modèles de référence révèlent que les pipelines GraphRAG actuels aident à l'agrégation de multiples faits lorsque les preuves proviennent d'un nombre modéré de sources, mais ce paradigme d'agrégation peut surestimer les affirmations de haut niveau au détriment des détails fins, conduisant à des performances plus faibles sur les tâches de synthèse. Page du projet : https://github.com/BstWPY/WildGraphBench.
English
Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.