ChartMuseum : Évaluation des capacités de raisonnement visuel des grands modèles vision-langage

ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models

May 19, 2025

Auteurs: Liyan Tang, Grace Kim, Xinyu Zhao, Thom Lake, Wenxuan Ding, Fangcong Yin, Prasann Singhal, Manya Wadhwa, Zeyu Leo Liu, Zayne Sprague, Ramya Namuduri, Bodun Hu, Juan Diego Rodriguez, Puyuan Peng, Greg Durrett

cs.AI

Résumé

La compréhension des graphiques représente un défi unique pour les grands modèles vision-langage (LVLMs), car elle nécessite l'intégration de capacités sophistiquées de raisonnement textuel et visuel. Cependant, les LVLMs actuels présentent un déséquilibre notable entre ces compétences, montrant des lacunes dans le raisonnement visuel qui est difficile à réaliser en texte. Nous menons une étude de cas en utilisant un ensemble de données synthétique résoluble uniquement par raisonnement visuel et montrons que les performances des modèles se dégradent significativement avec l'augmentation de la complexité visuelle, tandis que les performances humaines restent robustes. Nous introduisons ensuite ChartMuseum, un nouveau benchmark de Question-Réponse (QA) sur les graphiques contenant 1 162 questions annotées par des experts, couvrant plusieurs types de raisonnement, issues de graphiques réels provenant de 184 sources, spécifiquement conçu pour évaluer le raisonnement visuel et textuel complexe. Contrairement aux benchmarks précédents de compréhension des graphiques -- où les modèles de pointe performaient de manière similaire et proche de la saturation -- notre benchmark révèle un écart substantiel entre les performances des modèles et des humains, tout en différenciant efficacement les capacités des modèles : bien que les humains atteignent une précision de 93 %, le meilleur modèle, Gemini-2.5-Pro, n'atteint que 63,0 %, et le meilleur LVLM open-source, Qwen2.5-VL-72B-Instruct, n'atteint que 38,5 %. De plus, sur les questions nécessitant principalement un raisonnement visuel, tous les modèles subissent une baisse de performance de 35 % à 55 % par rapport aux questions axées sur le raisonnement textuel. Enfin, notre analyse qualitative des erreurs révèle des catégories spécifiques de raisonnement visuel qui sont difficiles pour les LVLMs actuels.

English

Chart understanding presents a unique challenge for large vision-language models (LVLMs), as it requires the integration of sophisticated textual and visual reasoning capabilities. However, current LVLMs exhibit a notable imbalance between these skills, falling short on visual reasoning that is difficult to perform in text. We conduct a case study using a synthetic dataset solvable only through visual reasoning and show that model performance degrades significantly with increasing visual complexity, while human performance remains robust. We then introduce ChartMuseum, a new Chart Question Answering (QA) benchmark containing 1,162 expert-annotated questions spanning multiple reasoning types, curated from real-world charts across 184 sources, specifically built to evaluate complex visual and textual reasoning. Unlike prior chart understanding benchmarks -- where frontier models perform similarly and near saturation -- our benchmark exposes a substantial gap between model and human performance, while effectively differentiating model capabilities: although humans achieve 93% accuracy, the best-performing model Gemini-2.5-Pro attains only 63.0%, and the leading open-source LVLM Qwen2.5-VL-72B-Instruct achieves only 38.5%. Moreover, on questions requiring primarily visual reasoning, all models experience a 35%-55% performance drop from text-reasoning-heavy question performance. Lastly, our qualitative error analysis reveals specific categories of visual reasoning that are challenging for current LVLMs.