DuetSVG: Generazione SVG Multimodale Unificata con Guida Visiva Interna
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
December 11, 2025
Autori: Peiying Zhang, Nanxuan Zhao, Matthew Fisher, Yiran Xu, Jing Liao, Difan Liu
cs.AI
Abstract
Gli approcci recenti basati su modelli visione-linguaggio (VLM) hanno ottenuto risultati impressionanti nella generazione di SVG. Tuttavia, poiché generano solo testo e mancano di segnali visivi durante la decodifica, spesso incontrano difficoltà con semantiche complesse e non riescono a produrre SVG visivamente accattivanti o geometricamente coerenti. Introduciamo DuetSVG, un modello multimodale unificato che genera congiuntamente token immagine e corrispondenti token SVG in maniera end-to-end. DuetSVG viene addestrato su dataset sia di immagini che di SVG. In fase di inferenza, applichiamo una nuova strategia di scaling al test time che sfrutta le predizioni visive native del modello come guida per migliorare la qualità della decodifica SVG. Esperimenti estensivi dimostrano che il nostro metodo supera i metodi esistenti, producendo SVG visivamente fedeli, semanticamente allineati e sintatticamente puliti in un'ampia gamma di applicazioni.
English
Recent vision-language model (VLM)-based approaches have achieved impressive results on SVG generation. However, because they generate only text and lack visual signals during decoding, they often struggle with complex semantics and fail to produce visually appealing or geometrically coherent SVGs. We introduce DuetSVG, a unified multimodal model that jointly generates image tokens and corresponding SVG tokens in an end-to-end manner. DuetSVG is trained on both image and SVG datasets. At inference, we apply a novel test-time scaling strategy that leverages the model's native visual predictions as guidance to improve SVG decoding quality. Extensive experiments show that our method outperforms existing methods, producing visually faithful, semantically aligned, and syntactically clean SVGs across a wide range of applications.