Mejora del refinamiento iterativo para la generación de código a partir de gráficos mediante instrucciones estructuradas

Improved Iterative Refinement for Chart-to-Code Generation via Structured Instruction

June 15, 2025

Autores: Chengzhi Xu, Yuyang Wang, Lai Wei, Lichao Sun, Weiran Huang

cs.AI

Resumen

Recientemente, los modelos de lenguaje multimodal de gran escala (MLLMs) han atraído una creciente atención en la investigación debido a sus potentes capacidades de comprensión visual. Aunque han logrado resultados impresionantes en diversas tareas de visión, su rendimiento en la generación de código a partir de gráficos sigue siendo subóptimo. Esta tarea requiere que los MLLMs generen código ejecutable que pueda reproducir un gráfico dado, lo que exige no solo una comprensión visual precisa, sino también una traducción exacta de los elementos visuales en código estructurado. Solicitar directamente a los MLLMs que realicen esta tarea compleja a menudo produce resultados insatisfactorios. Para abordar este desafío, proponemos {ChartIR}, un método de refinamiento iterativo basado en instrucciones estructuradas. En primer lugar, distinguimos dos tareas: comprensión visual y traducción de código. Para lograr el componente de comprensión visual, diseñamos dos tipos de instrucciones estructuradas: descripción y diferencia. La instrucción de descripción captura los elementos visuales del gráfico de referencia, mientras que la instrucción de diferencia caracteriza las discrepancias entre el gráfico de referencia y el gráfico generado. Estas instrucciones transforman eficazmente las características visuales en representaciones lingüísticas, facilitando así el proceso posterior de traducción de código. En segundo lugar, descomponemos la canalización general de generación de gráficos en dos etapas: generación inicial de código y refinamiento iterativo, lo que permite una mejora progresiva del resultado final. Los resultados experimentales muestran que, en comparación con otros métodos, nuestro método logra un rendimiento superior tanto en el modelo de código abierto Qwen2-VL como en el modelo de código cerrado GPT-4o.

English

Recently, multimodal large language models (MLLMs) have attracted increasing research attention due to their powerful visual understanding capabilities. While they have achieved impressive results on various vision tasks, their performance on chart-to-code generation remains suboptimal. This task requires MLLMs to generate executable code that can reproduce a given chart, demanding not only precise visual understanding but also accurate translation of visual elements into structured code. Directly prompting MLLMs to perform this complex task often yields unsatisfactory results. To address this challenge, we propose {ChartIR}, an iterative refinement method based on structured instruction. First, we distinguish two tasks: visual understanding and code translation. To accomplish the visual understanding component, we design two types of structured instructions: description and difference. The description instruction captures the visual elements of the reference chart, while the difference instruction characterizes the discrepancies between the reference chart and the generated chart. These instructions effectively transform visual features into language representations, thereby facilitating the subsequent code translation process. Second, we decompose the overall chart generation pipeline into two stages: initial code generation and iterative refinement, enabling progressive enhancement of the final output. Experimental results show that, compared to other method, our method achieves superior performance on both the open-source model Qwen2-VL and the closed-source model GPT-4o.