Miglioramento Iterativo per la Generazione da Grafici a Codice tramite Istruzioni Strutturate

Improved Iterative Refinement for Chart-to-Code Generation via Structured Instruction

June 15, 2025

Autori: Chengzhi Xu, Yuyang Wang, Lai Wei, Lichao Sun, Weiran Huang

cs.AI

Abstract

Recentemente, i modelli linguistici multimodali di grandi dimensioni (MLLM) hanno attirato un'attenzione crescente nella ricerca grazie alle loro potenti capacità di comprensione visiva. Nonostante abbiano ottenuto risultati impressionanti in vari compiti visivi, le loro prestazioni nella generazione di codice a partire da grafici rimangono subottimali. Questo compito richiede che gli MLLM generino codice eseguibile in grado di riprodurre un grafico dato, esigendo non solo una precisa comprensione visiva ma anche una traduzione accurata degli elementi visivi in codice strutturato. Richiedere direttamente agli MLLM di eseguire questo compito complesso spesso produce risultati insoddisfacenti. Per affrontare questa sfida, proponiamo {ChartIR}, un metodo di raffinamento iterativo basato su istruzioni strutturate. In primo luogo, distinguiamo due compiti: comprensione visiva e traduzione del codice. Per realizzare la componente di comprensione visiva, progettiamo due tipi di istruzioni strutturate: descrizione e differenza. L'istruzione di descrizione cattura gli elementi visivi del grafico di riferimento, mentre l'istruzione di differenza caratterizza le discrepanze tra il grafico di riferimento e il grafico generato. Queste istruzioni trasformano efficacemente le caratteristiche visive in rappresentazioni linguistiche, facilitando così il successivo processo di traduzione del codice. In secondo luogo, scomponiamo l'intera pipeline di generazione del grafico in due fasi: generazione iniziale del codice e raffinamento iterativo, consentendo un miglioramento progressivo dell'output finale. I risultati sperimentali mostrano che, rispetto ad altri metodi, il nostro metodo raggiunge prestazioni superiori sia sul modello open-source Qwen2-VL che sul modello closed-source GPT-4o.

English

Recently, multimodal large language models (MLLMs) have attracted increasing research attention due to their powerful visual understanding capabilities. While they have achieved impressive results on various vision tasks, their performance on chart-to-code generation remains suboptimal. This task requires MLLMs to generate executable code that can reproduce a given chart, demanding not only precise visual understanding but also accurate translation of visual elements into structured code. Directly prompting MLLMs to perform this complex task often yields unsatisfactory results. To address this challenge, we propose {ChartIR}, an iterative refinement method based on structured instruction. First, we distinguish two tasks: visual understanding and code translation. To accomplish the visual understanding component, we design two types of structured instructions: description and difference. The description instruction captures the visual elements of the reference chart, while the difference instruction characterizes the discrepancies between the reference chart and the generated chart. These instructions effectively transform visual features into language representations, thereby facilitating the subsequent code translation process. Second, we decompose the overall chart generation pipeline into two stages: initial code generation and iterative refinement, enabling progressive enhancement of the final output. Experimental results show that, compared to other method, our method achieves superior performance on both the open-source model Qwen2-VL and the closed-source model GPT-4o.