Aprimoramento do Refinamento Iterativo para Geração de Código a partir de Gráficos via Instrução Estruturada

Improved Iterative Refinement for Chart-to-Code Generation via Structured Instruction

June 15, 2025

Autores: Chengzhi Xu, Yuyang Wang, Lai Wei, Lichao Sun, Weiran Huang

cs.AI

Resumo

Recentemente, os modelos de linguagem multimodal de grande escala (MLLMs) têm atraído crescente atenção da pesquisa devido às suas poderosas capacidades de compreensão visual. Embora tenham alcançado resultados impressionantes em diversas tarefas de visão, seu desempenho na geração de código a partir de gráficos permanece subótimo. Essa tarefa exige que os MLLMs gerem código executável capaz de reproduzir um gráfico fornecido, demandando não apenas uma compreensão visual precisa, mas também uma tradução acurada dos elementos visuais em código estruturado. Solicitar diretamente que os MLLMs realizem essa tarefa complexa frequentemente resulta em desempenho insatisfatório. Para enfrentar esse desafio, propomos o {ChartIR}, um método de refinamento iterativo baseado em instruções estruturadas. Primeiro, distinguimos duas tarefas: compreensão visual e tradução de código. Para realizar a componente de compreensão visual, projetamos dois tipos de instruções estruturadas: descrição e diferença. A instrução de descrição captura os elementos visuais do gráfico de referência, enquanto a instrução de diferença caracteriza as discrepâncias entre o gráfico de referência e o gráfico gerado. Essas instruções transformam efetivamente características visuais em representações linguísticas, facilitando assim o processo subsequente de tradução de código. Segundo, decompomos o pipeline geral de geração de gráficos em duas etapas: geração inicial de código e refinamento iterativo, permitindo um aprimoramento progressivo do resultado final. Resultados experimentais mostram que, em comparação com outros métodos, nosso método alcança desempenho superior tanto no modelo de código aberto Qwen2-VL quanto no modelo de código fechado GPT-4o.

English

Recently, multimodal large language models (MLLMs) have attracted increasing research attention due to their powerful visual understanding capabilities. While they have achieved impressive results on various vision tasks, their performance on chart-to-code generation remains suboptimal. This task requires MLLMs to generate executable code that can reproduce a given chart, demanding not only precise visual understanding but also accurate translation of visual elements into structured code. Directly prompting MLLMs to perform this complex task often yields unsatisfactory results. To address this challenge, we propose {ChartIR}, an iterative refinement method based on structured instruction. First, we distinguish two tasks: visual understanding and code translation. To accomplish the visual understanding component, we design two types of structured instructions: description and difference. The description instruction captures the visual elements of the reference chart, while the difference instruction characterizes the discrepancies between the reference chart and the generated chart. These instructions effectively transform visual features into language representations, thereby facilitating the subsequent code translation process. Second, we decompose the overall chart generation pipeline into two stages: initial code generation and iterative refinement, enabling progressive enhancement of the final output. Experimental results show that, compared to other method, our method achieves superior performance on both the open-source model Qwen2-VL and the closed-source model GPT-4o.