ChartWalker: Benchmarking da Tarefa RAG entre Gráficos

Resumo

A Geração Aumentada por Recuperação (RAG) entre Gráficos é fundamental para tarefas analíticas multimodais complexas nos domínios científico, empresarial e político. No entanto, os benchmarks existentes ou se concentram em tabelas, que são bem estruturadas e textualizadas, ou geram perguntas entre gráficos simplesmente extraindo pontos-chave, o que frequentemente induz sobreposição lexical entre consultas e evidências, resultando em cadeias de raciocínio logicamente inconsistentes. Para abordar isso, apresentamos o ChartWalker, uma nova estrutura para construir tarefas desafiadoras de RAG entre gráficos. O ChartWalker apresenta um método de construção de grafo de conhecimento hierárquico adaptado a gráficos, que organiza entidades e relações por granularidade para preservar a estrutura analítica. Em seguida, propomos um algoritmo de amostragem ciente da estrutura que sintetiza caminhos de raciocínio de múltiplos saltos semanticamente coerentes, permitindo controle explícito sobre a dificuldade e a granularidade das consultas para a geração de perguntas e respostas. Construído com essa estrutura, disponibilizamos o ChartWalker-Bench, um benchmark abrangente que abrange diversos domínios e tipos de consultas entre gráficos. Avaliações extensas em paradigmas importantes de RAG revelam lacunas de desempenho significativas, destacando a dificuldade e a utilidade do benchmark. Além disso, fornecemos o ChartWalker-Agent, uma linha de base agentiva para facilitar a análise e inspirar o design futuro de sistemas.

English

Cross-Chart Retrieval-Augmented Generation (RAG) is critical for complex multi-modal analytical tasks in scientific, business, and political domains. However, existing benchmarks either focus on tables, which are well-structured and textualized, or generate cross-chart questions by simply extracting key points, which often induces lexical overlap between queries and evidence and yields logically inconsistent reasoning chains. To address this, we introduce ChartWalker, a novel framework for constructing challenging cross-chart RAG tasks. ChartWalker features a hierarchical knowledge graph construction method tailored to charts, which organizes entities and relations by granularity to preserve analytical structure. We then propose a structure-aware sampling algorithm that synthesizes semantically coherent, multi-hop reasoning paths, enabling explicit control over query difficulty and granularity for QA generation. Built with this framework, we release ChartWalker-Bench, a comprehensive benchmark spanning diverse domains and cross-chart query types. Extensive evaluations across major RAG paradigms reveal significant performance gaps, underscoring the benchmark's difficulty and utility. Furthermore, we provide ChartWalker-Agent, an agentic baseline to facilitate analysis and inspire future system design.