Da Grafici a Codice: Un Benchmark Gerarchico per Modelli Multimodali

Abstract

Introduciamo Chart2Code, un nuovo benchmark per valutare le capacità di comprensione dei grafici e generazione di codice dei modelli multimodali di grandi dimensioni (LMM). Chart2Code è progettato esplicitamente da una prospettiva guidata dall'utente, catturando scenari reali diversificati e aumentando progressivamente la difficoltà dei compiti. È composto da tre livelli: Livello 1 (Riproduzione del Grafico) riproduce grafici da una figura di riferimento e una query dell'utente; Livello 2 (Modifica del Grafico) coinvolge modifiche complesse come cambiare il tipo di grafico o aggiungere elementi; e Livello 3 (Generazione di Grafici da Tabelle Lunghe) richiede ai modelli di trasformare tabelle lunghe e dense di informazioni in grafici fedeli seguendo le istruzioni dell'utente. A nostra conoscenza, questo è il primo benchmark gerarchico che riflette l'uso pratico di chart2code mentre scala sistematicamente la complessità dei compiti. In totale, Chart2Code contiene 2.023 compiti su 22 tipi di grafici, abbinati a metriche di valutazione multilivello che valutano sia la correttezza del codice che la fedeltà visiva dei grafici renderizzati. Abbiamo valutato 25 LMM all'avanguardia (SoTA), inclusi sia modelli proprietari che i più recenti modelli open-source come GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL e Seed-1.6-VL. I risultati sperimentali dimostrano che anche il modello SoTA GPT-5 raggiunge in media solo 0.57 nella valutazione basata sul codice e 0.22 nella valutazione della qualità del grafico nei compiti di modifica, sottolineando la difficoltà di Chart2Code. Anticipiamo che questo benchmark spingerà i progressi nel ragionamento multimodale e favorirà lo sviluppo di LMM più robusti e general-purpose. Il nostro codice e i dati sono disponibili su Chart2Code.

English

We introduce Chart2Code, a new benchmark for evaluating the chart understanding and code generation capabilities of large multimodal models (LMMs). Chart2Code is explicitly designed from a user-driven perspective, capturing diverse real-world scenarios and progressively increasing task difficulty. It consists of three levels: Level 1 (Chart Reproduction) reproduces charts from a reference figure and user query; Level 2 (Chart Editing) involves complex modifications such as changing chart types or adding elements; and Level 3 (Long-Table to Chart Generation) requires models to transform long, information-dense tables into faithful charts following user instructions. To our knowledge, this is the first hierarchical benchmark that reflects practical chart2code usage while systematically scaling task complexity. In total, Chart2Code contains 2,023 tasks across 22 chart types, paired with multi-level evaluation metrics that assess both code correctness and the visual fidelity of rendered charts. We benchmark 25 state-of-the-art (SoTA) LMMs, including both proprietary and the latest open-source models such as GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL, and Seed-1.6-VL. Experimental results demonstrate that even the SoTA model GPT-5 averages only 0.57 on code-based evaluation and 0.22 on chart-quality assessment across the editing tasks, underscoring the difficulty of Chart2Code. We anticipate this benchmark will drive advances in multimodal reasoning and foster the development of more robust and general-purpose LMMs. Our code and data are available on Chart2Code.

Da Grafici a Codice: Un Benchmark Gerarchico per Modelli Multimodali

From Charts to Code: A Hierarchical Benchmark for Multimodal Models

Abstract

Support