Des graphiques au code : un benchmark hiérarchique pour les modèles multimodaux

papers.abstract

Nous présentons Chart2Code, un nouveau benchmark pour évaluer les capacités de compréhension de graphiques et de génération de code des grands modèles multimodaux (LMMs). Chart2Code est explicitement conçu dans une perspective centrée sur l'utilisateur, capturant divers scénarios réels et augmentant progressivement la difficulté des tâches. Il se compose de trois niveaux : le Niveau 1 (Reproduction de Graphiques) reproduit des graphiques à partir d'une figure de référence et d'une requête utilisateur ; le Niveau 2 (Édition de Graphiques) implique des modifications complexes telles que le changement de types de graphiques ou l'ajout d'éléments ; et le Niveau 3 (Génération de Graphiques à partir de Longs Tableaux) exige que les modèles transforment des tableaux longs et riches en informations en graphiques fidèles suivant les instructions de l'utilisateur. À notre connaissance, il s'agit du premier benchmark hiérarchique qui reflète l'utilisation pratique de chart2code tout en augmentant systématiquement la complexité des tâches. Au total, Chart2Code contient 2 023 tâches couvrant 22 types de graphiques, accompagnées de métriques d'évaluation multi-niveaux qui évaluent à la fois la correction du code et la fidélité visuelle des graphiques générés. Nous évaluons 25 LMMs de pointe (SoTA), incluant à la fois des modèles propriétaires et les derniers modèles open-source tels que GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL et Seed-1.6-VL. Les résultats expérimentaux montrent que même le modèle SoTA GPT-5 obtient en moyenne seulement 0,57 sur l'évaluation basée sur le code et 0,22 sur l'évaluation de la qualité des graphiques pour les tâches d'édition, soulignant la difficulté de Chart2Code. Nous anticipons que ce benchmark stimulera les avancées dans le raisonnement multimodal et favorisera le développement de LMMs plus robustes et polyvalents. Notre code et nos données sont disponibles sur Chart2Code.

English

We introduce Chart2Code, a new benchmark for evaluating the chart understanding and code generation capabilities of large multimodal models (LMMs). Chart2Code is explicitly designed from a user-driven perspective, capturing diverse real-world scenarios and progressively increasing task difficulty. It consists of three levels: Level 1 (Chart Reproduction) reproduces charts from a reference figure and user query; Level 2 (Chart Editing) involves complex modifications such as changing chart types or adding elements; and Level 3 (Long-Table to Chart Generation) requires models to transform long, information-dense tables into faithful charts following user instructions. To our knowledge, this is the first hierarchical benchmark that reflects practical chart2code usage while systematically scaling task complexity. In total, Chart2Code contains 2,023 tasks across 22 chart types, paired with multi-level evaluation metrics that assess both code correctness and the visual fidelity of rendered charts. We benchmark 25 state-of-the-art (SoTA) LMMs, including both proprietary and the latest open-source models such as GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL, and Seed-1.6-VL. Experimental results demonstrate that even the SoTA model GPT-5 averages only 0.57 on code-based evaluation and 0.22 on chart-quality assessment across the editing tasks, underscoring the difficulty of Chart2Code. We anticipate this benchmark will drive advances in multimodal reasoning and foster the development of more robust and general-purpose LMMs. Our code and data are available on Chart2Code.

Des graphiques au code : un benchmark hiérarchique pour les modèles multimodaux

From Charts to Code: A Hierarchical Benchmark for Multimodal Models

papers.abstract

Support