ChartQAPro : Un Benchmark Plus Diversifié et Exigeant pour le Question-Réponse sur Graphiques

ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering

April 7, 2025

Auteurs: Ahmed Masry, Mohammed Saidul Islam, Mahir Ahmed, Aayush Bajaj, Firoz Kabir, Aaryaman Kartha, Md Tahmid Rahman Laskar, Mizanur Rahman, Shadikur Rahman, Mehrad Shahmohammadi, Megh Thakkar, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty

cs.AI

Résumé

Les graphiques sont omniprésents, car les gens les utilisent souvent pour analyser des données, répondre à des questions et découvrir des insights critiques. Cependant, effectuer des tâches analytiques complexes avec des graphiques nécessite un effort perceptuel et cognitif important. Les systèmes de réponse à des questions sur des graphiques (Chart Question Answering, CQA) automatisent ce processus en permettant aux modèles d'interpréter et de raisonner à partir de représentations visuelles de données. Cependant, les benchmarks existants comme ChartQA manquent de diversité réaliste et ont récemment montré une saturation des performances avec les modèles modernes de vision et langage à grande échelle (Large Vision-Language Models, LVLMs). Pour pallier ces limitations, nous introduisons ChartQAPro, un nouveau benchmark qui inclut 1 341 graphiques provenant de 157 sources diverses, couvrant différents types de graphiques, y compris des infographies et des tableaux de bord, et comportant 1 948 questions de divers types, telles que des questions à choix multiples, conversationnelles, hypothétiques et sans réponse, afin de mieux refléter les défis du monde réel. Nos évaluations avec 21 modèles montrent une chute significative des performances des LVLMs sur ChartQAPro ; par exemple, Claude Sonnet 3.5 obtient 90,5 % sur ChartQA mais seulement 55,81 % sur ChartQAPro, soulignant la complexité du raisonnement sur les graphiques. Nous complétons nos résultats avec des analyses d'erreurs détaillées et des études d'ablation, identifiant les principaux défis et opportunités pour faire progresser les LVLMs dans la compréhension et le raisonnement sur les graphiques. Nous publions ChartQAPro à l'adresse https://github.com/vis-nlp/ChartQAPro.

English

Charts are ubiquitous, as people often use them to analyze data, answer questions, and discover critical insights. However, performing complex analytical tasks with charts requires significant perceptual and cognitive effort. Chart Question Answering (CQA) systems automate this process by enabling models to interpret and reason with visual representations of data. However, existing benchmarks like ChartQA lack real-world diversity and have recently shown performance saturation with modern large vision-language models (LVLMs). To address these limitations, we introduce ChartQAPro, a new benchmark that includes 1,341 charts from 157 diverse sources, spanning various chart types, including infographics and dashboards, and featuring 1,948 questions in various types, such as multiple-choice, conversational, hypothetical, and unanswerable questions, to better reflect real-world challenges. Our evaluations with 21 models show a substantial performance drop for LVLMs on ChartQAPro; e.g., Claude Sonnet 3.5 scores 90.5% on ChartQA but only 55.81% on ChartQAPro, underscoring the complexity of chart reasoning. We complement our findings with detailed error analyses and ablation studies, identifying key challenges and opportunities for advancing LVLMs in chart understanding and reasoning. We release ChartQAPro at https://github.com/vis-nlp/ChartQAPro.