DuetSVG: Vereinheitlichte multimodale SVG-Generierung mit interner visueller Führung
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
December 11, 2025
papers.authors: Peiying Zhang, Nanxuan Zhao, Matthew Fisher, Yiran Xu, Jing Liao, Difan Liu
cs.AI
papers.abstract
Aktuelle auf visuell-sprachlichen Modellen (VLM) basierende Ansätze haben beeindruckende Ergebnisse bei der SVG-Generierung erzielt. Da sie jedoch nur Text generieren und während der Decodierung über keine visuellen Signale verfügen, haben sie oft Schwierigkeiten mit komplexen Semantiken und produzieren selten visuell ansprechende oder geometrisch kohärente SVGs. Wir stellen DuetSVG vor, ein einheitliches multimodales Modell, das Bild-Tokens und entsprechende SVG-Tokens auf end-to-end-Basis gemeinsam generiert. DuetSVG wird sowohl auf Bild- als auch auf SVG-Datensätzen trainiert. Zur Inferenzzeit wenden wir eine neuartige Test-Time-Scaling-Strategie an, die die native visuelle Vorhersage des Modells als Leitfaden nutzt, um die Qualität der SVG-Decodierung zu verbessern. Umfangreiche Experimente zeigen, dass unsere Methode bestehende Ansätze übertrifft und dabei visuell authentische, semantisch präzise und syntaktisch saubere SVGs für ein breites Anwendungsspektrum erzeugt.
English
Recent vision-language model (VLM)-based approaches have achieved impressive results on SVG generation. However, because they generate only text and lack visual signals during decoding, they often struggle with complex semantics and fail to produce visually appealing or geometrically coherent SVGs. We introduce DuetSVG, a unified multimodal model that jointly generates image tokens and corresponding SVG tokens in an end-to-end manner. DuetSVG is trained on both image and SVG datasets. At inference, we apply a novel test-time scaling strategy that leverages the model's native visual predictions as guidance to improve SVG decoding quality. Extensive experiments show that our method outperforms existing methods, producing visually faithful, semantically aligned, and syntactically clean SVGs across a wide range of applications.