ChartMuseum: Evaluación de las Capacidades de Razonamiento Visual en Modelos Grandes de Visión y Lenguaje

ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models

May 19, 2025

Autores: Liyan Tang, Grace Kim, Xinyu Zhao, Thom Lake, Wenxuan Ding, Fangcong Yin, Prasann Singhal, Manya Wadhwa, Zeyu Leo Liu, Zayne Sprague, Ramya Namuduri, Bodun Hu, Juan Diego Rodriguez, Puyuan Peng, Greg Durrett

cs.AI

Resumen

La comprensión de gráficos presenta un desafío único para los grandes modelos de visión y lenguaje (LVLMs, por sus siglas en inglés), ya que requiere la integración de capacidades sofisticadas de razonamiento textual y visual. Sin embargo, los LVLMs actuales muestran un desequilibrio notable entre estas habilidades, quedándose cortos en el razonamiento visual que es difícil de realizar en texto. Realizamos un estudio de caso utilizando un conjunto de datos sintético que solo puede resolverse mediante razonamiento visual y demostramos que el rendimiento del modelo se degrada significativamente con el aumento de la complejidad visual, mientras que el rendimiento humano se mantiene robusto. Luego presentamos ChartMuseum, un nuevo punto de referencia de preguntas y respuestas (QA) sobre gráficos que contiene 1,162 preguntas anotadas por expertos, abarcando múltiples tipos de razonamiento, seleccionadas de gráficos del mundo real provenientes de 184 fuentes, específicamente diseñado para evaluar el razonamiento visual y textual complejo. A diferencia de los puntos de referencia anteriores para la comprensión de gráficos —donde los modelos de vanguardia tienen un rendimiento similar y cercano a la saturación— nuestro punto de referencia expone una brecha sustancial entre el rendimiento de los modelos y el humano, al tiempo que diferencia efectivamente las capacidades de los modelos: aunque los humanos alcanzan un 93% de precisión, el mejor modelo, Gemini-2.5-Pro, logra solo un 63.0%, y el LVLM de código abierto líder, Qwen2.5-VL-72B-Instruct, alcanza solo un 38.5%. Además, en preguntas que requieren principalmente razonamiento visual, todos los modelos experimentan una caída del 35%-55% en el rendimiento en comparación con preguntas que requieren mayor razonamiento textual. Por último, nuestro análisis cualitativo de errores revela categorías específicas de razonamiento visual que son desafiantes para los LVLMs actuales.

English

Chart understanding presents a unique challenge for large vision-language models (LVLMs), as it requires the integration of sophisticated textual and visual reasoning capabilities. However, current LVLMs exhibit a notable imbalance between these skills, falling short on visual reasoning that is difficult to perform in text. We conduct a case study using a synthetic dataset solvable only through visual reasoning and show that model performance degrades significantly with increasing visual complexity, while human performance remains robust. We then introduce ChartMuseum, a new Chart Question Answering (QA) benchmark containing 1,162 expert-annotated questions spanning multiple reasoning types, curated from real-world charts across 184 sources, specifically built to evaluate complex visual and textual reasoning. Unlike prior chart understanding benchmarks -- where frontier models perform similarly and near saturation -- our benchmark exposes a substantial gap between model and human performance, while effectively differentiating model capabilities: although humans achieve 93% accuracy, the best-performing model Gemini-2.5-Pro attains only 63.0%, and the leading open-source LVLM Qwen2.5-VL-72B-Instruct achieves only 38.5%. Moreover, on questions requiring primarily visual reasoning, all models experience a 35%-55% performance drop from text-reasoning-heavy question performance. Lastly, our qualitative error analysis reveals specific categories of visual reasoning that are challenging for current LVLMs.