Verbeterde Iteratieve Verfijning voor Grafiek-naar-Code Generatie via Gestructureerde Instructie

Improved Iterative Refinement for Chart-to-Code Generation via Structured Instruction

June 15, 2025

Auteurs: Chengzhi Xu, Yuyang Wang, Lai Wei, Lichao Sun, Weiran Huang

cs.AI

Samenvatting

Onlangs hebben multimodale grote taalmodellen (MLLMs) steeds meer onderzoeksaandacht getrokken vanwege hun krachtige visuele begripscapaciteiten. Hoewel ze indrukwekkende resultaten hebben behaald bij diverse visuele taken, blijft hun prestaties bij het genereren van code uit grafieken suboptimaal. Deze taak vereist dat MLLMs uitvoerbare code genereren die een gegeven grafiek kan reproduceren, wat niet alleen een nauwkeurig visueel begrip vereist, maar ook een accurate vertaling van visuele elementen naar gestructureerde code. Het direct aansturen van MLLMs om deze complexe taak uit te voeren, levert vaak onbevredigende resultaten op. Om deze uitdaging aan te pakken, stellen we {ChartIR} voor, een iteratieve verfijningsmethode gebaseerd op gestructureerde instructies. Ten eerste onderscheiden we twee taken: visueel begrip en codevertaling. Om het visuele begrip te realiseren, ontwerpen we twee soorten gestructureerde instructies: beschrijving en verschil. De beschrijvingsinstructie vangt de visuele elementen van de referentiegrafiek, terwijl de verschilinstructie de discrepanties tussen de referentiegrafiek en de gegenereerde grafiek karakteriseert. Deze instructies transformeren effectief visuele kenmerken in taalrepresentaties, waardoor het daaropvolgende codevertalingsproces wordt vergemakkelijkt. Ten tweede splitsen we de algehele grafiekgeneratiepijplijn op in twee fasen: initiële codegeneratie en iteratieve verfijning, waardoor een progressieve verbetering van het uiteindelijke resultaat mogelijk wordt. Experimentele resultaten tonen aan dat, in vergelijking met andere methoden, onze methode superieure prestaties behaalt bij zowel het open-source model Qwen2-VL als het closed-source model GPT-4o.

English

Recently, multimodal large language models (MLLMs) have attracted increasing research attention due to their powerful visual understanding capabilities. While they have achieved impressive results on various vision tasks, their performance on chart-to-code generation remains suboptimal. This task requires MLLMs to generate executable code that can reproduce a given chart, demanding not only precise visual understanding but also accurate translation of visual elements into structured code. Directly prompting MLLMs to perform this complex task often yields unsatisfactory results. To address this challenge, we propose {ChartIR}, an iterative refinement method based on structured instruction. First, we distinguish two tasks: visual understanding and code translation. To accomplish the visual understanding component, we design two types of structured instructions: description and difference. The description instruction captures the visual elements of the reference chart, while the difference instruction characterizes the discrepancies between the reference chart and the generated chart. These instructions effectively transform visual features into language representations, thereby facilitating the subsequent code translation process. Second, we decompose the overall chart generation pipeline into two stages: initial code generation and iterative refinement, enabling progressive enhancement of the final output. Experimental results show that, compared to other method, our method achieves superior performance on both the open-source model Qwen2-VL and the closed-source model GPT-4o.