ChartQAPro: チャート質問応答のためのより多様で挑戦的なベンチマーク

ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering

April 7, 2025

著者: Ahmed Masry, Mohammed Saidul Islam, Mahir Ahmed, Aayush Bajaj, Firoz Kabir, Aaryaman Kartha, Md Tahmid Rahman Laskar, Mizanur Rahman, Shadikur Rahman, Mehrad Shahmohammadi, Megh Thakkar, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty

cs.AI

要旨

チャートは至る所で使用されており、人々はデータを分析し、質問に答え、重要な洞察を発見するために頻繁に活用しています。しかし、チャートを用いて複雑な分析タスクを実行するには、多大な知覚的・認知的努力が必要です。チャート質問応答（Chart Question Answering, CQA）システムは、モデルがデータの視覚的表現を解釈し、推論することを可能にすることで、このプロセスを自動化します。しかし、ChartQAのような既存のベンチマークは現実世界の多様性に欠けており、最近では現代の大規模視覚言語モデル（Large Vision-Language Models, LVLMs）において性能の飽和が示されています。これらの課題を解決するため、私たちはChartQAProを導入しました。これは、157の多様なソースから1,341のチャートを含み、インフォグラフィックやダッシュボードを含むさまざまなチャートタイプを網羅し、多肢選択、会話型、仮想的、および回答不能な質問など、1,948の質問を特徴とする新しいベンチマークです。これにより、現実世界の課題をよりよく反映しています。21のモデルを用いた評価では、LVLMsのChartQAProにおける性能が大幅に低下することが示されました。例えば、Claude Sonnet 3.5はChartQAで90.5%のスコアを記録しましたが、ChartQAProではわずか55.81%でした。これは、チャート推論の複雑さを浮き彫りにしています。私たちは、詳細なエラー分析とアブレーション研究を通じて、主要な課題と機会を特定し、LVLMsのチャート理解と推論の進化に向けた重要な洞察を提供します。ChartQAProはhttps://github.com/vis-nlp/ChartQAProで公開されています。

English

Charts are ubiquitous, as people often use them to analyze data, answer questions, and discover critical insights. However, performing complex analytical tasks with charts requires significant perceptual and cognitive effort. Chart Question Answering (CQA) systems automate this process by enabling models to interpret and reason with visual representations of data. However, existing benchmarks like ChartQA lack real-world diversity and have recently shown performance saturation with modern large vision-language models (LVLMs). To address these limitations, we introduce ChartQAPro, a new benchmark that includes 1,341 charts from 157 diverse sources, spanning various chart types, including infographics and dashboards, and featuring 1,948 questions in various types, such as multiple-choice, conversational, hypothetical, and unanswerable questions, to better reflect real-world challenges. Our evaluations with 21 models show a substantial performance drop for LVLMs on ChartQAPro; e.g., Claude Sonnet 3.5 scores 90.5% on ChartQA but only 55.81% on ChartQAPro, underscoring the complexity of chart reasoning. We complement our findings with detailed error analyses and ablation studies, identifying key challenges and opportunities for advancing LVLMs in chart understanding and reasoning. We release ChartQAPro at https://github.com/vis-nlp/ChartQAPro.