WildGraphBench: ワイルドソースコーパスを用いたGraphRAGのベンチマーク

WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora

February 2, 2026

著者: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao

cs.AI

要旨

グラフベース検索拡張生成（GraphRAG）は、外部知識を階層的なグラフとして構造化し、複数文書に散在する証拠の効率的な検索と集約を可能にする。しかし、既存のGraphRAGベンチマークの多くは、短く編集された文章を外部知識として利用しており、長文コンテキストや大規模な異種文書を含む現実的な設定でのシステム評価が不十分である。この課題を解決するため、我々は実環境におけるGraphRAGの性能を評価するベンチマーク「WildGraphBench」を提案する。Wikipediaの独自構造（一貫性のある記述が長文かつ多様な外部参照文書に基づく特性）を活用し、実世界のシナリオを反映したベンチマークを構築した。具体的には、12のトップレベルトピックから記事を抽出し、それらの外部参照を検索コーパスとして、引用リンク付き記述を正解データとして利用。単一事実QA、複数事実QA、セクション要約の3段階の難易度にわたる1,100問の質問を構築した。複数ベースラインによる実験では、証拠が中規模数のソースから得られる場合に現在のGraphRAGパイプラインが複数事実の集約に有効である一方、この集約パラダイムが高レベルな記述を過度に重視することで細部の情報が軽視され、要約タスクでの性能低下を招く可能性が示された。プロジェクトページ：https://github.com/BstWPY/WildGraphBench

English

Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.