WildGraphBench: Benchmarking di GraphRAG con Corpora da Fonti Non Strutturate
WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora
February 2, 2026
Autori: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao
cs.AI
Abstract
La Generazione Aumentata dal Recupero basata su Grafi (GraphRAG) organizza la conoscenza esterna come un grafo gerarchico, consentendo un recupero e un'aggregazione efficienti di prove sparse tra più documenti. Tuttavia, molti benchmark esistenti per GraphRAG si basano su passaggi brevi e selezionati come conoscenza esterna, non riuscendo a valutare adeguatamente i sistemi in contesti realistici che coinvolgono contesti lunghi e documenti eterogenei su larga scala.
Per colmare questa lacuna, introduciamo WildGraphBench, un benchmark progettato per valutare le prestazioni di GraphRAG in scenari reali. Sfruttiamo la struttura unica di Wikipedia, in cui narrative coerenti sono basate su documenti di riferimento esterni lunghi ed eterogenei, per costruire un benchmark che rifletta scenari del mondo reale. Nello specifico, campioniamo articoli relativi a 12 argomenti di alto livello, utilizzando i loro riferimenti esterni come corpus per il recupero e le affermazioni collegate alle citazioni come verità di base, ottenendo così 1.100 domande che coprono tre livelli di complessità: domande e risposte (QA) a fatto singolo, QA a fatti multipli e riassunto a livello di sezione.
Esperimenti condotti su più baseline rivelano che le pipeline GraphRAG attuali sono utili per l'aggregazione di fatti multipli quando le prove provengono da un numero moderato di fonti, ma questo paradigma di aggregazione potrebbe enfatizzare eccessivamente le affermazioni di alto livello a scapito dei dettagli granulari, portando a prestazioni più deboli nelle attività di riassunto.
Pagina del progetto: https://github.com/BstWPY/WildGraphBench
English
Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.