Von Diagrammen zu Code: Ein hierarchischer Benchmark für multimodale Modelle

papers.abstract

Wir stellen Chart2Code vor, einen neuen Benchmark zur Bewertung der Diagrammverständnis- und Codegenerierungsfähigkeiten von großen multimodalen Modellen (LMMs). Chart2Code wurde explizit aus einer nutzerzentrierten Perspektive entwickelt und erfasst vielfältige reale Szenarien mit progressiv ansteigender Aufgabenkomplexität. Es besteht aus drei Ebenen: Ebene 1 (Diagrammreproduktion) reproduziert Diagramme aus einer Referenzabbildung und einer Nutzeranfrage; Ebene 2 (Diagrammbearbeitung) umfasst komplexe Modifikationen wie das Ändern von Diagrammtypen oder das Hinzufügen von Elementen; und Ebene 3 (Langtabelle-zu-Diagramm-Generierung) erfordert, dass Modelle lange, informationsdichte Tabellen in präzise Diagramme gemäß Nutzeranweisungen umwandeln. Unseres Wissens ist dies der erste hierarchische Benchmark, der die praktische Nutzung von Chart2Code widerspiegelt und gleichzeitig die Aufgabenkomplexität systematisch skaliert. Insgesamt umfasst Chart2Code 2.023 Aufgaben über 22 Diagrammtypen, gepaart mit mehrstufigen Bewertungsmetriken, die sowohl die Codekorrektheit als auch die visuelle Treue der gerenderten Diagramme bewerten. Wir benchmarken 25 state-of-the-art (SoTA) LMMs, darunter sowohl proprietäre als auch die neuesten Open-Source-Modelle wie GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL und Seed-1.6-VL. Die experimentellen Ergebnisse zeigen, dass selbst das SoTA-Modell GPT-5 im Durchschnitt nur 0,57 bei der codebasierten Bewertung und 0,22 bei der Diagrammqualitätsbewertung über die Bearbeitungsaufgaben erreicht, was die Schwierigkeit von Chart2Code unterstreicht. Wir erwarten, dass dieser Benchmark Fortschritte im multimodalen Denken vorantreiben und die Entwicklung robusterer und allgemeinerer LMMs fördern wird. Unser Code und unsere Daten sind auf Chart2Code verfügbar.

English

We introduce Chart2Code, a new benchmark for evaluating the chart understanding and code generation capabilities of large multimodal models (LMMs). Chart2Code is explicitly designed from a user-driven perspective, capturing diverse real-world scenarios and progressively increasing task difficulty. It consists of three levels: Level 1 (Chart Reproduction) reproduces charts from a reference figure and user query; Level 2 (Chart Editing) involves complex modifications such as changing chart types or adding elements; and Level 3 (Long-Table to Chart Generation) requires models to transform long, information-dense tables into faithful charts following user instructions. To our knowledge, this is the first hierarchical benchmark that reflects practical chart2code usage while systematically scaling task complexity. In total, Chart2Code contains 2,023 tasks across 22 chart types, paired with multi-level evaluation metrics that assess both code correctness and the visual fidelity of rendered charts. We benchmark 25 state-of-the-art (SoTA) LMMs, including both proprietary and the latest open-source models such as GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL, and Seed-1.6-VL. Experimental results demonstrate that even the SoTA model GPT-5 averages only 0.57 on code-based evaluation and 0.22 on chart-quality assessment across the editing tasks, underscoring the difficulty of Chart2Code. We anticipate this benchmark will drive advances in multimodal reasoning and foster the development of more robust and general-purpose LMMs. Our code and data are available on Chart2Code.

Von Diagrammen zu Code: Ein hierarchischer Benchmark für multimodale Modelle

From Charts to Code: A Hierarchical Benchmark for Multimodal Models

papers.abstract

Support