WildGraphBench: Avaliação Comparativa do GraphRAG com Corpora de Fontes Diversificadas
WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora
February 2, 2026
Autores: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao
cs.AI
Resumo
A Geração Aumentada por Recuperação Baseada em Grafos (GraphRAG) organiza o conhecimento externo como um grafo hierárquico, permitindo a recuperação eficiente e a agregação de evidências dispersas em vários documentos. No entanto, muitos benchmarks existentes para GraphRAG dependem de passagens curtas e selecionadas como conhecimento externo, falhando em avaliar adequadamente os sistemas em contextos realistas que envolvem textos longos e documentos heterogêneos em larga escala. Para preencher essa lacuna, introduzimos o WildGraphBench, um benchmark projetado para avaliar o desempenho do GraphRAG em cenários reais. Aproveitamos a estrutura única da Wikipedia, onde narrativas coesas são fundamentadas em documentos de referência externos longos e heterogêneos, para construir um benchmark que reflita cenários do mundo real. Especificamente, amostramos artigos em 12 tópicos de alto nível, usando suas referências externas como corpus de recuperação e declarações vinculadas a citações como ground truth, resultando em 1.100 questões abrangendo três níveis de complexidade: Q&A de fato único, Q&A de múltiplos fatos e sumarização a nível de seção. Experimentos com várias linhas de base revelam que os pipelines atuais de GraphRAG ajudam na agregação de múltiplos fatos quando as evidências vêm de um número moderado de fontes, mas esse paradigma de agregação pode superenfatizar declarações de alto nível em detrimento de detalhes refinados, levando a um desempenho mais fraco em tarefas de sumarização. Página do projeto: https://github.com/BstWPY/WildGraphBench.
English
Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.