ChartMuseum: Het testen van visuele redeneervaardigheden van grote visueel-taalkundige modellen

ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models

May 19, 2025

Auteurs: Liyan Tang, Grace Kim, Xinyu Zhao, Thom Lake, Wenxuan Ding, Fangcong Yin, Prasann Singhal, Manya Wadhwa, Zeyu Leo Liu, Zayne Sprague, Ramya Namuduri, Bodun Hu, Juan Diego Rodriguez, Puyuan Peng, Greg Durrett

cs.AI

Samenvatting

Het begrijpen van grafieken vormt een unieke uitdaging voor grote visueel-taalkundige modellen (LVLMs), omdat het de integratie vereist van geavanceerde tekstuele en visuele redeneervaardigheden. Huidige LVLMs vertonen echter een opvallende onbalans tussen deze vaardigheden, waarbij ze tekortschieten in visueel redeneren dat moeilijk in tekst uit te voeren is. We voeren een casestudy uit met behulp van een synthetische dataset die alleen via visueel redeneren op te lossen is en laten zien dat de modelprestaties aanzienlijk verslechteren bij toenemende visuele complexiteit, terwijl de menselijke prestaties robuust blijven. Vervolgens introduceren we ChartMuseum, een nieuwe Chart Question Answering (QA) benchmark met 1.162 expert-geannoteerde vragen die verschillende redeneertypes omvatten, samengesteld uit real-world grafieken van 184 bronnen, specifiek ontworpen om complex visueel en tekstueel redeneren te evalueren. In tegenstelling tot eerdere benchmarks voor het begrijpen van grafieken – waar toonaangevende modellen vergelijkbaar en bijna verzadigd presteren – legt onze benchmark een aanzienlijke kloof bloot tussen model- en menselijke prestaties, terwijl het effectief onderscheid maakt tussen modelcapaciteiten: hoewel mensen een nauwkeurigheid van 93% bereiken, haalt het best presterende model Gemini-2.5-Pro slechts 63,0%, en het leidende open-source LVLM Qwen2.5-VL-72B-Instruct bereikt slechts 38,5%. Bovendien ervaren alle modellen bij vragen die vooral visueel redeneren vereisen een prestatieverlies van 35%-55% ten opzichte van vragen die vooral tekstueel redeneren vereisen. Tot slot onthult onze kwalitatieve foutenanalyse specifieke categorieën van visueel redeneren die uitdagend zijn voor huidige LVLMs.

English

Chart understanding presents a unique challenge for large vision-language models (LVLMs), as it requires the integration of sophisticated textual and visual reasoning capabilities. However, current LVLMs exhibit a notable imbalance between these skills, falling short on visual reasoning that is difficult to perform in text. We conduct a case study using a synthetic dataset solvable only through visual reasoning and show that model performance degrades significantly with increasing visual complexity, while human performance remains robust. We then introduce ChartMuseum, a new Chart Question Answering (QA) benchmark containing 1,162 expert-annotated questions spanning multiple reasoning types, curated from real-world charts across 184 sources, specifically built to evaluate complex visual and textual reasoning. Unlike prior chart understanding benchmarks -- where frontier models perform similarly and near saturation -- our benchmark exposes a substantial gap between model and human performance, while effectively differentiating model capabilities: although humans achieve 93% accuracy, the best-performing model Gemini-2.5-Pro attains only 63.0%, and the leading open-source LVLM Qwen2.5-VL-72B-Instruct achieves only 38.5%. Moreover, on questions requiring primarily visual reasoning, all models experience a 35%-55% performance drop from text-reasoning-heavy question performance. Lastly, our qualitative error analysis reveals specific categories of visual reasoning that are challenging for current LVLMs.