Amélioration du raffinement itératif pour la génération de code à partir de graphiques via des instructions structurées

Improved Iterative Refinement for Chart-to-Code Generation via Structured Instruction

June 15, 2025

Auteurs: Chengzhi Xu, Yuyang Wang, Lai Wei, Lichao Sun, Weiran Huang

cs.AI

Résumé

Récemment, les modèles de langage multimodal de grande envergure (MLLMs) ont suscité un intérêt croissant en raison de leurs puissantes capacités de compréhension visuelle. Bien qu'ils aient obtenu des résultats impressionnants sur diverses tâches visuelles, leurs performances en matière de génération de code à partir de graphiques restent sous-optimales. Cette tâche nécessite que les MLLMs génèrent un code exécutable capable de reproduire un graphique donné, exigeant non seulement une compréhension visuelle précise, mais aussi une traduction exacte des éléments visuels en code structuré. Le fait de demander directement aux MLLMs d'accomplir cette tâche complexe donne souvent des résultats insatisfaisants. Pour relever ce défi, nous proposons {ChartIR}, une méthode de raffinement itératif basée sur des instructions structurées. Tout d'abord, nous distinguons deux tâches : la compréhension visuelle et la traduction en code. Pour accomplir la composante de compréhension visuelle, nous concevons deux types d'instructions structurées : la description et la différence. L'instruction de description capture les éléments visuels du graphique de référence, tandis que l'instruction de différence caractérise les écarts entre le graphique de référence et le graphique généré. Ces instructions transforment efficacement les caractéristiques visuelles en représentations linguistiques, facilitant ainsi le processus de traduction en code. Ensuite, nous décomposons le pipeline global de génération de graphiques en deux étapes : la génération initiale de code et le raffinement itératif, permettant une amélioration progressive du résultat final. Les résultats expérimentaux montrent que, par rapport à d'autres méthodes, notre méthode obtient des performances supérieures à la fois sur le modèle open-source Qwen2-VL et sur le modèle propriétaire GPT-4o.

English

Recently, multimodal large language models (MLLMs) have attracted increasing research attention due to their powerful visual understanding capabilities. While they have achieved impressive results on various vision tasks, their performance on chart-to-code generation remains suboptimal. This task requires MLLMs to generate executable code that can reproduce a given chart, demanding not only precise visual understanding but also accurate translation of visual elements into structured code. Directly prompting MLLMs to perform this complex task often yields unsatisfactory results. To address this challenge, we propose {ChartIR}, an iterative refinement method based on structured instruction. First, we distinguish two tasks: visual understanding and code translation. To accomplish the visual understanding component, we design two types of structured instructions: description and difference. The description instruction captures the visual elements of the reference chart, while the difference instruction characterizes the discrepancies between the reference chart and the generated chart. These instructions effectively transform visual features into language representations, thereby facilitating the subsequent code translation process. Second, we decompose the overall chart generation pipeline into two stages: initial code generation and iterative refinement, enabling progressive enhancement of the final output. Experimental results show that, compared to other method, our method achieves superior performance on both the open-source model Qwen2-VL and the closed-source model GPT-4o.