ChartQAPro: Более разнообразный и сложный эталонный тест для ответов на вопросы по графикам

ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering

April 7, 2025

Авторы: Ahmed Masry, Mohammed Saidul Islam, Mahir Ahmed, Aayush Bajaj, Firoz Kabir, Aaryaman Kartha, Md Tahmid Rahman Laskar, Mizanur Rahman, Shadikur Rahman, Mehrad Shahmohammadi, Megh Thakkar, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty

cs.AI

Аннотация

Графики повсеместно используются, так как люди часто применяют их для анализа данных, поиска ответов на вопросы и выявления важных закономерностей. Однако выполнение сложных аналитических задач с использованием графиков требует значительных перцептивных и когнитивных усилий. Системы для ответов на вопросы по графикам (Chart Question Answering, CQA) автоматизируют этот процесс, позволяя моделям интерпретировать и анализировать визуальные представления данных. Однако существующие эталонные тесты, такие как ChartQA, не обладают достаточным разнообразием, отражающим реальные условия, и в последнее время демонстрируют насыщение производительности при использовании современных крупных моделей, работающих с визуальными и текстовыми данными (Large Vision-Language Models, LVLMs). Чтобы устранить эти ограничения, мы представляем ChartQAPro — новый эталонный тест, включающий 1 341 график из 157 различных источников, охватывающих различные типы графиков, включая инфографику и дашборды, а также 1 948 вопросов разных типов, таких как вопросы с множественным выбором, диалоговые, гипотетические и неразрешимые вопросы, что лучше отражает реальные вызовы. Наши оценки с использованием 21 модели показывают значительное снижение производительности LVLMs на ChartQAPro; например, Claude Sonnet 3.5 набирает 90,5% на ChartQA, но только 55,81% на ChartQAPro, что подчеркивает сложность анализа графиков. Мы дополняем наши выводы детальным анализом ошибок и исследованиями с исключением компонентов, выявляя ключевые проблемы и возможности для улучшения LVLMs в области понимания и анализа графиков. Мы публикуем ChartQAPro по адресу https://github.com/vis-nlp/ChartQAPro.

English

Charts are ubiquitous, as people often use them to analyze data, answer questions, and discover critical insights. However, performing complex analytical tasks with charts requires significant perceptual and cognitive effort. Chart Question Answering (CQA) systems automate this process by enabling models to interpret and reason with visual representations of data. However, existing benchmarks like ChartQA lack real-world diversity and have recently shown performance saturation with modern large vision-language models (LVLMs). To address these limitations, we introduce ChartQAPro, a new benchmark that includes 1,341 charts from 157 diverse sources, spanning various chart types, including infographics and dashboards, and featuring 1,948 questions in various types, such as multiple-choice, conversational, hypothetical, and unanswerable questions, to better reflect real-world challenges. Our evaluations with 21 models show a substantial performance drop for LVLMs on ChartQAPro; e.g., Claude Sonnet 3.5 scores 90.5% on ChartQA but only 55.81% on ChartQAPro, underscoring the complexity of chart reasoning. We complement our findings with detailed error analyses and ablation studies, identifying key challenges and opportunities for advancing LVLMs in chart understanding and reasoning. We release ChartQAPro at https://github.com/vis-nlp/ChartQAPro.