DuetSVG: Единая мультимодальная генерация SVG с внутренним визуальным управлением
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
December 11, 2025
Авторы: Peiying Zhang, Nanxuan Zhao, Matthew Fisher, Yiran Xu, Jing Liao, Difan Liu
cs.AI
Аннотация
Недавние подходы на основе моделей «визуальный язык» (VLM) показали впечатляющие результаты в генерации SVG. Однако, поскольку они генерируют только текст и лишены визуальных сигналов на этапе декодирования, они часто испытывают трудности со сложной семантикой и не позволяют создавать визуально привлекательные или геометрически согласованные SVG. Мы представляем DuetSVG — унифицированную мультимодальную модель, которая совместно генерирует токены изображений и соответствующие SVG-токены сквозным образом. DuetSVG обучается на наборах данных как с изображениями, так и с SVG. На этапе вывода мы применяем новую стратегию масштабирования на этапе тестирования, которая использует собственные визуальные предсказания модели в качестве руководства для повышения качества SVG-декодирования. Многочисленные эксперименты показывают, что наш метод превосходит существующие подходы, создавая визуально точные, семантически выверенные и синтаксически корректные SVG-изображения для широкого спектра приложений.
English
Recent vision-language model (VLM)-based approaches have achieved impressive results on SVG generation. However, because they generate only text and lack visual signals during decoding, they often struggle with complex semantics and fail to produce visually appealing or geometrically coherent SVGs. We introduce DuetSVG, a unified multimodal model that jointly generates image tokens and corresponding SVG tokens in an end-to-end manner. DuetSVG is trained on both image and SVG datasets. At inference, we apply a novel test-time scaling strategy that leverages the model's native visual predictions as guidance to improve SVG decoding quality. Extensive experiments show that our method outperforms existing methods, producing visually faithful, semantically aligned, and syntactically clean SVGs across a wide range of applications.