Van Grafieken naar Code: Een Hiërarchische Benchmark voor Multimodale Modellen

Samenvatting

We introduceren Chart2Code, een nieuwe benchmark voor het evalueren van de grafiekbegrip- en codegeneratiecapaciteiten van grote multimodale modellen (LMMs). Chart2Code is expliciet ontworpen vanuit een gebruikersgedreven perspectief, waarbij diverse real-world scenario's worden vastgelegd en de taakmoeilijkheid geleidelijk toeneemt. Het bestaat uit drie niveaus: Niveau 1 (Grafiekreproductie) reproduceert grafieken vanuit een referentiefiguur en gebruikersvraag; Niveau 2 (Grafiekbewerking) omvat complexe aanpassingen zoals het wijzigen van grafiektypen of het toevoegen van elementen; en Niveau 3 (Lange-tabel-naar-grafiekgeneratie) vereist dat modellen lange, informatie-dichte tabellen omzetten in nauwkeurige grafieken volgens gebruikersinstructies. Voor zover wij weten, is dit de eerste hiërarchische benchmark die praktisch grafiek-naar-code-gebruik weerspiegelt terwijl de taakcomplexiteit systematisch wordt opgeschaald. In totaal bevat Chart2Code 2.023 taken over 22 grafiektypen, gekoppeld aan meerdelige evaluatiemetrics die zowel de codecorrectheid als de visuele trouw van gerenderde grafieken beoordelen. We benchmarken 25 state-of-the-art (SoTA) LMMs, waaronder zowel propriëtaire als de nieuwste open-source modellen zoals GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL en Seed-1.6-VL. Experimentele resultaten tonen aan dat zelfs het SoTA-model GPT-5 gemiddeld slechts 0.57 scoort op codegebaseerde evaluatie en 0.22 op grafiekkwaliteitsbeoordeling over de bewerkingstaken, wat de moeilijkheidsgraad van Chart2Code onderstreept. We verwachten dat deze benchmark vooruitgang zal stimuleren in multimodale redenering en de ontwikkeling van robuustere en meer algemene LMMs zal bevorderen. Onze code en data zijn beschikbaar op Chart2Code.

English

We introduce Chart2Code, a new benchmark for evaluating the chart understanding and code generation capabilities of large multimodal models (LMMs). Chart2Code is explicitly designed from a user-driven perspective, capturing diverse real-world scenarios and progressively increasing task difficulty. It consists of three levels: Level 1 (Chart Reproduction) reproduces charts from a reference figure and user query; Level 2 (Chart Editing) involves complex modifications such as changing chart types or adding elements; and Level 3 (Long-Table to Chart Generation) requires models to transform long, information-dense tables into faithful charts following user instructions. To our knowledge, this is the first hierarchical benchmark that reflects practical chart2code usage while systematically scaling task complexity. In total, Chart2Code contains 2,023 tasks across 22 chart types, paired with multi-level evaluation metrics that assess both code correctness and the visual fidelity of rendered charts. We benchmark 25 state-of-the-art (SoTA) LMMs, including both proprietary and the latest open-source models such as GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL, and Seed-1.6-VL. Experimental results demonstrate that even the SoTA model GPT-5 averages only 0.57 on code-based evaluation and 0.22 on chart-quality assessment across the editing tasks, underscoring the difficulty of Chart2Code. We anticipate this benchmark will drive advances in multimodal reasoning and foster the development of more robust and general-purpose LMMs. Our code and data are available on Chart2Code.

Van Grafieken naar Code: Een Hiërarchische Benchmark voor Multimodale Modellen

From Charts to Code: A Hierarchical Benchmark for Multimodal Models

Samenvatting

Support