WildGraphBench: Бенчмаркинг GraphRAG на корпусах с разнородными источниками

WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora

February 2, 2026

Авторы: Pengyu Wang, Benfeng Xu, Licheng Zhang, Shaohan Wang, Mingxuan Du, Chiwei Zhu, Zhendong Mao

cs.AI

Аннотация

Графовый поисково-генерирующий подход (GraphRAG) организует внешние знания в виде иерархического графа, обеспечивая эффективное извлечение и агрегацию разрозненных свидетельств из множества документов. Однако многие существующие бенчмарки для GraphRAG полагаются на короткие, курируемые текстовые фрагменты в качестве внешних знаний, не позволяя адекватно оценивать системы в реалистичных условиях, предполагающих длинные контексты и крупномасштабные гетерогенные документы. Для преодоления этого разрыва мы представляем WildGraphBench — бенчмарк, разработанный для оценки производительности GraphRAG в реальных условиях. Мы используем уникальную структуру Википедии, где связные повествования основаны на длинных и разнородных внешних справочных документах, для построения бенчмарка, отражающего сценарии из реальной практики. В частности, мы выбираем статьи из 12 тематических категорий верхнего уровня, используя их внешние ссылки в качестве корпуса для поиска, а утверждения, связанные с цитированием, — в качестве эталонных данных, получая в итоге 1100 вопросов, охватывающих три уровня сложности: вопросы на одиночный факт, вопросы на множественные факты и суммаризацию на уровне разделов. Эксперименты с несколькими базовыми моделями показывают, что современные GraphRAG-пайплайны помогают при агрегации множественных фактов, когда свидетельства поступают из умеренного числа источников, но данная парадигма агрегации может чрезмерно акцентировать обобщающие утверждения в ущерб детализированным сведениям, что приводит к снижению производительности на задачах суммаризации. Страница проекта: https://github.com/BstWPY/WildGraphBench.

English

Graph-based Retrieval-Augmented Generation (GraphRAG) organizes external knowledge as a hierarchical graph, enabling efficient retrieval and aggregation of scattered evidence across multiple documents. However, many existing benchmarks for GraphRAG rely on short, curated passages as external knowledge, failing to adequately evaluate systems in realistic settings involving long contexts and large-scale heterogeneous documents. To bridge this gap, we introduce WildGraphBench, a benchmark designed to assess GraphRAG performance in the wild. We leverage Wikipedia's unique structure, where cohesive narratives are grounded in long and heterogeneous external reference documents, to construct a benchmark reflecting real-word scenarios. Specifically, we sample articles across 12 top-level topics, using their external references as the retrieval corpus and citation-linked statements as ground truth, resulting in 1,100 questions spanning three levels of complexity: single-fact QA, multi-fact QA, and section-level summarization. Experiments across multiple baselines reveal that current GraphRAG pipelines help on multi-fact aggregation when evidence comes from a moderate number of sources, but this aggregation paradigm may overemphasize high-level statements at the expense of fine-grained details, leading to weaker performance on summarization tasks. Project page:https://github.com/BstWPY/WildGraphBench.