ChartWalker: クロスチャートRAGタスクのベンチマーキング

要旨

クロスチャート検索拡張生成（RAG）は、科学、ビジネス、政治領域における複雑なマルチモーダル分析タスクにとって極めて重要である。しかし、既存のベンチマークは、構造化されテキスト化されたテーブルに焦点を当てるか、または単に重要箇所を抽出することでクロスチャート質問を生成するため、クエリと証拠の間に語彙的重複を生じさせ、論理的に一貫性のない推論連鎖をもたらすことが多い。この問題に対処するため、我々はChartWalkerを提案する。これは、困難なクロスチャートRAGタスクを構築するための新規フレームワークである。ChartWalkerは、チャートに特化した階層的知識グラフ構築手法を備えており、エンティティと関係を粒度ごとに整理して分析構造を保持する。さらに、構造を考慮したサンプリングアルゴリズムを提案する。これは意味的に一貫したマルチホップ推論経路を合成し、QA生成におけるクエリの難易度と粒度を明示的に制御可能にする。このフレームワークに基づき、多様なドメインとクロスチャートクエリタイプを網羅する包括的なベンチマークであるChartWalker-Benchを公開する。主要なRAGパラダイムにわたる広範な評価により、顕著な性能格差が明らかになり、ベンチマークの難易度と有用性が強調される。さらに、分析を促進し将来のシステム設計に着想を与えるエージェンティックベースラインとして、ChartWalker-Agentを提供する。

English

Cross-Chart Retrieval-Augmented Generation (RAG) is critical for complex multi-modal analytical tasks in scientific, business, and political domains. However, existing benchmarks either focus on tables, which are well-structured and textualized, or generate cross-chart questions by simply extracting key points, which often induces lexical overlap between queries and evidence and yields logically inconsistent reasoning chains. To address this, we introduce ChartWalker, a novel framework for constructing challenging cross-chart RAG tasks. ChartWalker features a hierarchical knowledge graph construction method tailored to charts, which organizes entities and relations by granularity to preserve analytical structure. We then propose a structure-aware sampling algorithm that synthesizes semantically coherent, multi-hop reasoning paths, enabling explicit control over query difficulty and granularity for QA generation. Built with this framework, we release ChartWalker-Bench, a comprehensive benchmark spanning diverse domains and cross-chart query types. Extensive evaluations across major RAG paradigms reveal significant performance gaps, underscoring the benchmark's difficulty and utility. Furthermore, we provide ChartWalker-Agent, an agentic baseline to facilitate analysis and inspire future system design.