WildGraphBench: Evaluación de GraphRAG con Corpus de Fuentes Diversas
WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora
February 2, 2026
Autores: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao
cs.AI
Resumen
La Generación Aumentada por Recuperación Basada en Grafos (GraphRAG) organiza el conocimiento externo como un grafo jerárquico, permitiendo la recuperación eficiente y la agregación de evidencia dispersa en múltiples documentos. Sin embargo, muchos de los puntos de referencia existentes para GraphRAG se basan en pasajes cortos y seleccionados como conocimiento externo, lo que no logra evaluar adecuadamente a los sistemas en entornos realistas que involucran contextos largos y documentos heterogéneos a gran escala. Para cerrar esta brecha, presentamos WildGraphBench, un punto de referencia diseñado para evaluar el rendimiento de GraphRAG en condiciones reales. Aprovechamos la estructura única de Wikipedia, donde las narrativas cohesivas se basan en documentos de referencia externos largos y heterogéneos, para construir un benchmark que refleje escenarios del mundo real. Específicamente, muestreamos artículos de 12 temas de alto nivel, utilizando sus referencias externas como corpus de recuperación y las declaraciones vinculadas a citas como verificación, resultando en 1.100 preguntas que abarcan tres niveles de complejidad: preguntas de respuesta única (QA), preguntas de múltiples datos (QA) y resumen a nivel de sección. Los experimentos con múltiples líneas base revelan que las canalizaciones actuales de GraphRAG ayudan en la agregación de múltiples datos cuando la evidencia proviene de un número moderado de fuentes, pero este paradigma de agregación puede enfatizar en exceso las declaraciones de alto nivel a expensas de los detalles específicos, lo que lleva a un rendimiento más débil en las tareas de resumen. Página del proyecto: https://github.com/BstWPY/WildGraphBench.
English
Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.