ChartMuseum: Testare le Capacità di Ragionamento Visivo dei Modelli Linguistico-Visuali di Grandi Dimensioni

Abstract

La comprensione dei grafici rappresenta una sfida unica per i grandi modelli visione-linguaggio (LVLM), poiché richiede l'integrazione di sofisticate capacità di ragionamento testuale e visivo. Tuttavia, gli attuali LVLM mostrano un notevole squilibrio tra queste abilità, risultando carenti nel ragionamento visivo che è difficile da eseguire in forma testuale. Abbiamo condotto uno studio di caso utilizzando un dataset sintetico risolvibile solo attraverso il ragionamento visivo e dimostrato che le prestazioni del modello si degradano significativamente con l'aumentare della complessità visiva, mentre le prestazioni umane rimangono robuste. Abbiamo quindi introdotto ChartMuseum, un nuovo benchmark di Question Answering (QA) sui grafici contenente 1.162 domande annotate da esperti che coprono molteplici tipi di ragionamento, curate da grafici reali provenienti da 184 fonti, specificamente costruito per valutare il ragionamento visivo e testuale complesso. A differenza dei precedenti benchmark di comprensione dei grafici – dove i modelli all'avanguardia performano in modo simile e vicino alla saturazione – il nostro benchmark evidenzia un divario sostanziale tra le prestazioni dei modelli e quelle umane, differenziando efficacemente le capacità dei modelli: sebbene gli esseri umani raggiungano una precisione del 93%, il modello con le migliori prestazioni, Gemini-2.5-Pro, raggiunge solo il 63.0%, e il principale LVLM open-source Qwen2.5-VL-72B-Instruct arriva solo al 38.5%. Inoltre, sulle domande che richiedono principalmente ragionamento visivo, tutti i modelli subiscono un calo delle prestazioni del 35%-55% rispetto alle domande che richiedono prevalentemente ragionamento testuale. Infine, la nostra analisi qualitativa degli errori rivela specifiche categorie di ragionamento visivo che risultano complesse per gli attuali LVLM.

English

Chart understanding presents a unique challenge for large vision-language models (LVLMs), as it requires the integration of sophisticated textual and visual reasoning capabilities. However, current LVLMs exhibit a notable imbalance between these skills, falling short on visual reasoning that is difficult to perform in text. We conduct a case study using a synthetic dataset solvable only through visual reasoning and show that model performance degrades significantly with increasing visual complexity, while human performance remains robust. We then introduce ChartMuseum, a new Chart Question Answering (QA) benchmark containing 1,162 expert-annotated questions spanning multiple reasoning types, curated from real-world charts across 184 sources, specifically built to evaluate complex visual and textual reasoning. Unlike prior chart understanding benchmarks -- where frontier models perform similarly and near saturation -- our benchmark exposes a substantial gap between model and human performance, while effectively differentiating model capabilities: although humans achieve 93% accuracy, the best-performing model Gemini-2.5-Pro attains only 63.0%, and the leading open-source LVLM Qwen2.5-VL-72B-Instruct achieves only 38.5%. Moreover, on questions requiring primarily visual reasoning, all models experience a 35%-55% performance drop from text-reasoning-heavy question performance. Lastly, our qualitative error analysis reveals specific categories of visual reasoning that are challenging for current LVLMs.

ChartMuseum: Testare le Capacità di Ragionamento Visivo dei Modelli Linguistico-Visuali di Grandi Dimensioni

ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models

Abstract

Support