Улучшенный итеративный метод уточнения для генерации кода из диаграмм с использованием структурированных инструкций

Improved Iterative Refinement for Chart-to-Code Generation via Structured Instruction

June 15, 2025

Авторы: Chengzhi Xu, Yuyang Wang, Lai Wei, Lichao Sun, Weiran Huang

cs.AI

Аннотация

В последнее время мультимодальные большие языковые модели (MLLMs) привлекают все больше внимания исследователей благодаря своим мощным возможностям визуального понимания. Хотя они достигли впечатляющих результатов в различных задачах, связанных с обработкой изображений, их производительность в задаче генерации кода на основе графиков остается неоптимальной. Эта задача требует от MLLMs генерации исполняемого кода, который может воспроизвести заданный график, что предполагает не только точное визуальное понимание, но и корректный перевод визуальных элементов в структурированный код. Прямое использование MLLMs для выполнения этой сложной задачи часто приводит к неудовлетворительным результатам. Для решения этой проблемы мы предлагаем метод {ChartIR}, основанный на итеративном уточнении с использованием структурированных инструкций. Во-первых, мы разделяем две задачи: визуальное понимание и перевод в код. Для выполнения компонента визуального понимания мы разрабатываем два типа структурированных инструкций: описание и различие. Инструкция описания фиксирует визуальные элементы эталонного графика, в то время как инструкция различия характеризует расхождения между эталонным графиком и сгенерированным. Эти инструкции эффективно преобразуют визуальные признаки в языковые представления, тем самым облегчая последующий процесс перевода в код. Во-вторых, мы разделяем общий процесс генерации графика на два этапа: начальную генерацию кода и итеративное уточнение, что позволяет постепенно улучшать конечный результат. Экспериментальные результаты показывают, что по сравнению с другими методами наш метод демонстрирует превосходную производительность как на открытой модели Qwen2-VL, так и на закрытой модели GPT-4o.

English

Recently, multimodal large language models (MLLMs) have attracted increasing research attention due to their powerful visual understanding capabilities. While they have achieved impressive results on various vision tasks, their performance on chart-to-code generation remains suboptimal. This task requires MLLMs to generate executable code that can reproduce a given chart, demanding not only precise visual understanding but also accurate translation of visual elements into structured code. Directly prompting MLLMs to perform this complex task often yields unsatisfactory results. To address this challenge, we propose {ChartIR}, an iterative refinement method based on structured instruction. First, we distinguish two tasks: visual understanding and code translation. To accomplish the visual understanding component, we design two types of structured instructions: description and difference. The description instruction captures the visual elements of the reference chart, while the difference instruction characterizes the discrepancies between the reference chart and the generated chart. These instructions effectively transform visual features into language representations, thereby facilitating the subsequent code translation process. Second, we decompose the overall chart generation pipeline into two stages: initial code generation and iterative refinement, enabling progressive enhancement of the final output. Experimental results show that, compared to other method, our method achieves superior performance on both the open-source model Qwen2-VL and the closed-source model GPT-4o.