WildGraphBench: 야생 소스 코퍼스를 활용한 GraphRAG 벤치마킹

WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora

February 2, 2026

저자: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao

cs.AI

초록

그래프 기반 검색 증강 생성(GraphRAG)은 외부 지식을 계층적 그래프로 구성하여 여러 문서에 흩어져 있는 증거의 효율적인 검색 및 집계를 가능하게 합니다. 그러나 기존 GraphRAG 벤치마크의 많은 부분이 짧고 선별된 문단을 외부 지식으로 사용함으로써, 긴 컨텍스트와 대규모 이질적 문서를 포함하는 현실적인 환경에서 시스템을 충분히 평가하지 못하는 한계가 있습니다. 이러한 격차를 해소하기 위해 우리는 실제 환경에서의 GraphRAG 성능을 평가하도록 설계된 벤치마크인 WildGraphBench를 소개합니다. 우리는 응집력 있는 서술이 길고 이질적인 외부 참조 문서에 기반을 두는 위키피디아의 독특한 구조를 활용하여 실제 시나리오를 반영하는 벤치마크를 구축합니다. 구체적으로, 12개의 최상위 주제 분야에 걸쳐 문서를 샘플링하고, 그 외부 참조문을 검색 코퍼스로, 인용 링크가 연결된 진술을 정답으로 사용하여 단일 사실 질의응답, 다중 사실 질의응답, 섹션 수준 요약이라는 세 가지 복잡도 수준에 걸친 1,100개의 질문을 생성합니다. 여러 베이스라인에 대한 실험 결과, 현재 GraphRAG 파이프라인은 증거가 적절한 수의 출처에서 나올 때 다중 사실 집계에는 도움이 되지만, 이러한 집계 패러다임이 세부 사항을 희생시키면서 상위 수준 진술을 과도하게 강조하여 요약 작업에서 더 낮은 성능을 초래할 수 있음이 나타났습니다. 프로젝트 페이지: https://github.com/BstWPY/WildGraphBench.

English

Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.