ChartWalker : Évaluation comparative de la tâche RAG inter-graphiques

Résumé

La Génération Augmentée par Récupération (RAG) inter-graphiques est cruciale pour les tâches analytiques complexes multi-modales dans les domaines scientifique, commercial et politique. Cependant, les référentiels existants se concentrent soit sur des tableaux, bien structurés et textualisés, soit génèrent des questions inter-graphiques en extrayant simplement des points clés, ce qui induit souvent un chevauchement lexical entre les requêtes et les preuves et produit des chaînes de raisonnement logiquement incohérentes. Pour y remédier, nous introduisons ChartWalker, un nouveau cadre de construction de tâches RAG inter-graphiques exigeantes. ChartWalker propose une méthode de construction de graphe de connaissances hiérarchique adaptée aux graphiques, qui organise les entités et les relations par granularité afin de préserver la structure analytique. Nous proposons ensuite un algorithme d'échantillonnage sensible à la structure qui synthétise des chemins de raisonnement multi-sauts sémantiquement cohérents, permettant un contrôle explicite de la difficulté et de la granularité des requêtes pour la génération de questions-réponses. Construit avec ce cadre, nous publions ChartWalker-Bench, un référentiel complet couvrant divers domaines et types de requêtes inter-graphiques. Des évaluations approfondies menées sur les principaux paradigmes RAG révèlent des écarts de performance significatifs, soulignant la difficulté et l'utilité du référentiel. De plus, nous fournissons ChartWalker-Agent, une référence agentique pour faciliter l'analyse et inspirer la conception de futurs systèmes.

English

Cross-Chart Retrieval-Augmented Generation (RAG) is critical for complex multi-modal analytical tasks in scientific, business, and political domains. However, existing benchmarks either focus on tables, which are well-structured and textualized, or generate cross-chart questions by simply extracting key points, which often induces lexical overlap between queries and evidence and yields logically inconsistent reasoning chains. To address this, we introduce ChartWalker, a novel framework for constructing challenging cross-chart RAG tasks. ChartWalker features a hierarchical knowledge graph construction method tailored to charts, which organizes entities and relations by granularity to preserve analytical structure. We then propose a structure-aware sampling algorithm that synthesizes semantically coherent, multi-hop reasoning paths, enabling explicit control over query difficulty and granularity for QA generation. Built with this framework, we release ChartWalker-Bench, a comprehensive benchmark spanning diverse domains and cross-chart query types. Extensive evaluations across major RAG paradigms reveal significant performance gaps, underscoring the benchmark's difficulty and utility. Furthermore, we provide ChartWalker-Agent, an agentic baseline to facilitate analysis and inspire future system design.