ChartQAPro: Un Benchmark Più Diversificato e Impegnativo per il Rispondere a Domande su Grafici

ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering

April 7, 2025

Autori: Ahmed Masry, Mohammed Saidul Islam, Mahir Ahmed, Aayush Bajaj, Firoz Kabir, Aaryaman Kartha, Md Tahmid Rahman Laskar, Mizanur Rahman, Shadikur Rahman, Mehrad Shahmohammadi, Megh Thakkar, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty

cs.AI

Abstract

I grafici sono onnipresenti, poiché le persone li utilizzano spesso per analizzare dati, rispondere a domande e scoprire intuizioni cruciali. Tuttavia, eseguire compiti analitici complessi con i grafici richiede uno sforzo percettivo e cognitivo significativo. I sistemi di Chart Question Answering (CQA) automatizzano questo processo consentendo ai modelli di interpretare e ragionare con rappresentazioni visive dei dati. Tuttavia, i benchmark esistenti come ChartQA mancano di diversità reale e hanno recentemente mostrato una saturazione delle prestazioni con i moderni modelli linguistico-visivi di grandi dimensioni (LVLM). Per affrontare queste limitazioni, introduciamo ChartQAPro, un nuovo benchmark che include 1.341 grafici provenienti da 157 fonti diverse, che coprono vari tipi di grafici, tra cui infografiche e dashboard, e presenta 1.948 domande di vari tipi, come domande a scelta multipla, conversazionali, ipotetiche e senza risposta, per riflettere meglio le sfide del mondo reale. Le nostre valutazioni con 21 modelli mostrano un calo significativo delle prestazioni per gli LVLM su ChartQAPro; ad esempio, Claude Sonnet 3.5 ottiene il 90,5% su ChartQA ma solo il 55,81% su ChartQAPro, sottolineando la complessità del ragionamento sui grafici. Integriamo i nostri risultati con analisi dettagliate degli errori e studi di ablazione, identificando le principali sfide e opportunità per avanzare gli LVLM nella comprensione e nel ragionamento sui grafici. Rilasciamo ChartQAPro all'indirizzo https://github.com/vis-nlp/ChartQAPro.

English

Charts are ubiquitous, as people often use them to analyze data, answer questions, and discover critical insights. However, performing complex analytical tasks with charts requires significant perceptual and cognitive effort. Chart Question Answering (CQA) systems automate this process by enabling models to interpret and reason with visual representations of data. However, existing benchmarks like ChartQA lack real-world diversity and have recently shown performance saturation with modern large vision-language models (LVLMs). To address these limitations, we introduce ChartQAPro, a new benchmark that includes 1,341 charts from 157 diverse sources, spanning various chart types, including infographics and dashboards, and featuring 1,948 questions in various types, such as multiple-choice, conversational, hypothetical, and unanswerable questions, to better reflect real-world challenges. Our evaluations with 21 models show a substantial performance drop for LVLMs on ChartQAPro; e.g., Claude Sonnet 3.5 scores 90.5% on ChartQA but only 55.81% on ChartQAPro, underscoring the complexity of chart reasoning. We complement our findings with detailed error analyses and ablation studies, identifying key challenges and opportunities for advancing LVLMs in chart understanding and reasoning. We release ChartQAPro at https://github.com/vis-nlp/ChartQAPro.