ChartQAPro: Een gevarieerder en uitdagender benchmark voor het beantwoorden van vragen over grafieken

ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering

April 7, 2025

Auteurs: Ahmed Masry, Mohammed Saidul Islam, Mahir Ahmed, Aayush Bajaj, Firoz Kabir, Aaryaman Kartha, Md Tahmid Rahman Laskar, Mizanur Rahman, Shadikur Rahman, Mehrad Shahmohammadi, Megh Thakkar, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty

cs.AI

Samenvatting

Grafieken zijn alomtegenwoordig, aangezien mensen ze vaak gebruiken om data te analyseren, vragen te beantwoorden en cruciale inzichten te ontdekken. Het uitvoeren van complexe analytische taken met grafieken vereist echter aanzienlijke perceptuele en cognitieve inspanning. Chart Question Answering (CQA)-systemen automatiseren dit proces door modellen in staat te stellen visuele representaties van data te interpreteren en te redeneren. Bestaande benchmarks zoals ChartQA missen echter real-world diversiteit en hebben recentelijk prestatieverzadiging laten zien met moderne grote visueel-taalmodelen (LVLMs). Om deze beperkingen aan te pakken, introduceren we ChartQAPro, een nieuwe benchmark die 1.341 grafieken bevat uit 157 diverse bronnen, die verschillende grafiektypen omvatten, waaronder infographics en dashboards, en 1.948 vragen in verschillende typen, zoals meerkeuzevragen, conversatievragen, hypothetische vragen en onbeantwoordbare vragen, om de uitdagingen van de echte wereld beter te weerspiegelen. Onze evaluaties met 21 modellen tonen een aanzienlijke prestatievermindering voor LVLMs op ChartQAPro; bijvoorbeeld, Claude Sonnet 3.5 scoort 90,5% op ChartQA maar slechts 55,81% op ChartQAPro, wat de complexiteit van grafiekredenering onderstreept. We vullen onze bevindingen aan met gedetailleerde foutenanalyses en ablatiestudies, waarbij we belangrijke uitdagingen en kansen identificeren voor het bevorderen van LVLMs in grafiekbegrip en -redenering. We geven ChartQAPro vrij op https://github.com/vis-nlp/ChartQAPro.

English

Charts are ubiquitous, as people often use them to analyze data, answer questions, and discover critical insights. However, performing complex analytical tasks with charts requires significant perceptual and cognitive effort. Chart Question Answering (CQA) systems automate this process by enabling models to interpret and reason with visual representations of data. However, existing benchmarks like ChartQA lack real-world diversity and have recently shown performance saturation with modern large vision-language models (LVLMs). To address these limitations, we introduce ChartQAPro, a new benchmark that includes 1,341 charts from 157 diverse sources, spanning various chart types, including infographics and dashboards, and featuring 1,948 questions in various types, such as multiple-choice, conversational, hypothetical, and unanswerable questions, to better reflect real-world challenges. Our evaluations with 21 models show a substantial performance drop for LVLMs on ChartQAPro; e.g., Claude Sonnet 3.5 scores 90.5% on ChartQA but only 55.81% on ChartQAPro, underscoring the complexity of chart reasoning. We complement our findings with detailed error analyses and ablation studies, identifying key challenges and opportunities for advancing LVLMs in chart understanding and reasoning. We release ChartQAPro at https://github.com/vis-nlp/ChartQAPro.