ChartQAPro: Un punto de referencia más diverso y desafiante para la respuesta a preguntas sobre gráficos

ChartQAPro: A More Diverse and Challenging Benchmark for Chart Question Answering

April 7, 2025

Autores: Ahmed Masry, Mohammed Saidul Islam, Mahir Ahmed, Aayush Bajaj, Firoz Kabir, Aaryaman Kartha, Md Tahmid Rahman Laskar, Mizanur Rahman, Shadikur Rahman, Mehrad Shahmohammadi, Megh Thakkar, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty

cs.AI

Resumen

Los gráficos son omnipresentes, ya que las personas los utilizan con frecuencia para analizar datos, responder preguntas y descubrir insights críticos. Sin embargo, realizar tareas analíticas complejas con gráficos requiere un esfuerzo perceptivo y cognitivo significativo. Los sistemas de Respuesta a Preguntas sobre Gráficos (CQA, por sus siglas en inglés) automatizan este proceso al permitir que los modelos interpreten y razonen con representaciones visuales de datos. No obstante, los benchmarks existentes, como ChartQA, carecen de diversidad del mundo real y recientemente han mostrado una saturación en el rendimiento con los modelos modernos de visión y lenguaje a gran escala (LVLMs). Para abordar estas limitaciones, presentamos ChartQAPro, un nuevo benchmark que incluye 1,341 gráficos de 157 fuentes diversas, abarcando varios tipos de gráficos, como infografías y paneles, y presentando 1,948 preguntas de diversos tipos, como opción múltiple, conversacionales, hipotéticas y sin respuesta, para reflejar mejor los desafíos del mundo real. Nuestras evaluaciones con 21 modelos muestran una caída sustancial en el rendimiento de los LVLMs en ChartQAPro; por ejemplo, Claude Sonnet 3.5 obtiene un 90.5% en ChartQA, pero solo un 55.81% en ChartQAPro, lo que subraya la complejidad del razonamiento con gráficos. Complementamos nuestros hallazgos con análisis detallados de errores y estudios de ablación, identificando desafíos clave y oportunidades para avanzar en la comprensión y el razonamiento de gráficos con LVLMs. Publicamos ChartQAPro en https://github.com/vis-nlp/ChartQAPro.

English

Charts are ubiquitous, as people often use them to analyze data, answer questions, and discover critical insights. However, performing complex analytical tasks with charts requires significant perceptual and cognitive effort. Chart Question Answering (CQA) systems automate this process by enabling models to interpret and reason with visual representations of data. However, existing benchmarks like ChartQA lack real-world diversity and have recently shown performance saturation with modern large vision-language models (LVLMs). To address these limitations, we introduce ChartQAPro, a new benchmark that includes 1,341 charts from 157 diverse sources, spanning various chart types, including infographics and dashboards, and featuring 1,948 questions in various types, such as multiple-choice, conversational, hypothetical, and unanswerable questions, to better reflect real-world challenges. Our evaluations with 21 models show a substantial performance drop for LVLMs on ChartQAPro; e.g., Claude Sonnet 3.5 scores 90.5% on ChartQA but only 55.81% on ChartQAPro, underscoring the complexity of chart reasoning. We complement our findings with detailed error analyses and ablation studies, identifying key challenges and opportunities for advancing LVLMs in chart understanding and reasoning. We release ChartQAPro at https://github.com/vis-nlp/ChartQAPro.