Verbesserte iterative Verfeinerung für die Diagramm-zu-Code-Generierung durch strukturierte Anweisungen

Improved Iterative Refinement for Chart-to-Code Generation via Structured Instruction

June 15, 2025

Autoren: Chengzhi Xu, Yuyang Wang, Lai Wei, Lichao Sun, Weiran Huang

cs.AI

Zusammenfassung

In letzter Zeit haben multimodale große Sprachmodelle (MLLMs) aufgrund ihrer leistungsstarken visuellen Verständnisfähigkeiten zunehmend Forschungsinteresse geweckt. Obwohl sie beeindruckende Ergebnisse bei verschiedenen Vision-Aufgaben erzielt haben, bleibt ihre Leistung bei der Chart-zu-Code-Generierung suboptimal. Diese Aufgabe erfordert, dass MLLMs ausführbaren Code generieren, der einen gegebenen Chart reproduzieren kann, was nicht nur präzises visuelles Verständnis, sondern auch eine genaue Übersetzung visueller Elemente in strukturierten Code verlangt. Die direkte Aufforderung an MLLMs, diese komplexe Aufgabe zu bewältigen, führt oft zu unbefriedigenden Ergebnissen. Um diese Herausforderung zu bewältigen, schlagen wir {ChartIR} vor, eine iterative Verfeinerungsmethode basierend auf strukturierten Anweisungen. Zunächst unterscheiden wir zwei Aufgaben: visuelles Verständnis und Code-Übersetzung. Um die visuelle Verständniskomponente zu bewältigen, entwerfen wir zwei Arten von strukturierten Anweisungen: Beschreibung und Unterschied. Die Beschreibungsanweisung erfasst die visuellen Elemente des Referenzcharts, während die Unterschiedsanweisung die Diskrepanzen zwischen dem Referenzchart und dem generierten Chart charakterisiert. Diese Anweisungen transformieren effektiv visuelle Merkmale in Sprachrepräsentationen und erleichtern somit den nachfolgenden Code-Übersetzungsprozess. Zweitens zerlegen wir die gesamte Chart-Generierungspipeline in zwei Phasen: anfängliche Code-Generierung und iterative Verfeinerung, wodurch eine progressive Verbesserung des Endergebnisses ermöglicht wird. Experimentelle Ergebnisse zeigen, dass unsere Methode im Vergleich zu anderen Methoden sowohl beim Open-Source-Modell Qwen2-VL als auch beim Closed-Source-Modell GPT-4o eine überlegene Leistung erzielt.

English

Recently, multimodal large language models (MLLMs) have attracted increasing research attention due to their powerful visual understanding capabilities. While they have achieved impressive results on various vision tasks, their performance on chart-to-code generation remains suboptimal. This task requires MLLMs to generate executable code that can reproduce a given chart, demanding not only precise visual understanding but also accurate translation of visual elements into structured code. Directly prompting MLLMs to perform this complex task often yields unsatisfactory results. To address this challenge, we propose {ChartIR}, an iterative refinement method based on structured instruction. First, we distinguish two tasks: visual understanding and code translation. To accomplish the visual understanding component, we design two types of structured instructions: description and difference. The description instruction captures the visual elements of the reference chart, while the difference instruction characterizes the discrepancies between the reference chart and the generated chart. These instructions effectively transform visual features into language representations, thereby facilitating the subsequent code translation process. Second, we decompose the overall chart generation pipeline into two stages: initial code generation and iterative refinement, enabling progressive enhancement of the final output. Experimental results show that, compared to other method, our method achieves superior performance on both the open-source model Qwen2-VL and the closed-source model GPT-4o.