ChartQAPro: Ein vielfältigeres und anspruchsvolleres Benchmark für die Beantwortung von Diagrammfragen

ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering

April 7, 2025

Autoren: Ahmed Masry, Mohammed Saidul Islam, Mahir Ahmed, Aayush Bajaj, Firoz Kabir, Aaryaman Kartha, Md Tahmid Rahman Laskar, Mizanur Rahman, Shadikur Rahman, Mehrad Shahmohammadi, Megh Thakkar, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty

cs.AI

Zusammenfassung

Diagramme sind allgegenwärtig, da Menschen sie häufig zur Datenanalyse, zur Beantwortung von Fragen und zur Entdeckung entscheidender Erkenntnisse verwenden. Die Durchführung komplexer analytischer Aufgaben mit Diagrammen erfordert jedoch erhebliche Wahrnehmungs- und kognitive Anstrengung. Chart Question Answering (CQA)-Systeme automatisieren diesen Prozess, indem sie Modellen ermöglichen, visuelle Darstellungen von Daten zu interpretieren und damit zu schlussfolgern. Bestehende Benchmarks wie ChartQA weisen jedoch eine mangelnde reale Vielfalt auf und haben kürzlich eine Leistungssättigung bei modernen großen visuell-sprachlichen Modellen (LVLMs) gezeigt. Um diese Einschränkungen zu überwinden, führen wir ChartQAPro ein, einen neuen Benchmark, der 1.341 Diagramme aus 157 verschiedenen Quellen umfasst, die verschiedene Diagrammtypen, einschließlich Infografiken und Dashboards, abdecken, und 1.948 Fragen in verschiedenen Formaten wie Multiple-Choice, Konversations-, hypothetische und unbeantwortbare Fragen enthalten, um die Herausforderungen der realen Welt besser widerzuspiegeln. Unsere Auswertungen mit 21 Modellen zeigen einen erheblichen Leistungsabfall bei LVLMs auf ChartQAPro; beispielsweise erzielt Claude Sonnet 3.5 90,5 % auf ChartQA, aber nur 55,81 % auf ChartQAPro, was die Komplexität der Diagrammargumentation unterstreicht. Wir ergänzen unsere Ergebnisse mit detaillierten Fehleranalysen und Ablationsstudien, die wichtige Herausforderungen und Möglichkeiten für die Weiterentwicklung von LVLMs im Bereich des Diagrammverständnisses und der Diagrammargumentation identifizieren. Wir veröffentlichen ChartQAPro unter https://github.com/vis-nlp/ChartQAPro.

English

Charts are ubiquitous, as people often use them to analyze data, answer questions, and discover critical insights. However, performing complex analytical tasks with charts requires significant perceptual and cognitive effort. Chart Question Answering (CQA) systems automate this process by enabling models to interpret and reason with visual representations of data. However, existing benchmarks like ChartQA lack real-world diversity and have recently shown performance saturation with modern large vision-language models (LVLMs). To address these limitations, we introduce ChartQAPro, a new benchmark that includes 1,341 charts from 157 diverse sources, spanning various chart types, including infographics and dashboards, and featuring 1,948 questions in various types, such as multiple-choice, conversational, hypothetical, and unanswerable questions, to better reflect real-world challenges. Our evaluations with 21 models show a substantial performance drop for LVLMs on ChartQAPro; e.g., Claude Sonnet 3.5 scores 90.5% on ChartQA but only 55.81% on ChartQAPro, underscoring the complexity of chart reasoning. We complement our findings with detailed error analyses and ablation studies, identifying key challenges and opportunities for advancing LVLMs in chart understanding and reasoning. We release ChartQAPro at https://github.com/vis-nlp/ChartQAPro.