DuetSVG: Verenigde multimodale SVG-generatie met interne visuele begeleiding
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
December 11, 2025
Auteurs: Peiying Zhang, Nanxuan Zhao, Matthew Fisher, Yiran Xu, Jing Liao, Difan Liu
cs.AI
Samenvatting
Recente op vision-language models (VLM) gebaseerde benaderingen hebben indrukwekkende resultaten behaald bij SVG-generatie. Omdat ze echter alleen tekst genereren en visuele signalen tijdens het decoderen missen, hebben ze vaak moeite met complexe semantiek en produceren ze zelden visueel aantrekkelijke of geometrisch coherente SVG's. Wij introduceren DuetSVG, een uniform multimodaal model dat op een end-to-end manier zowel beeldtokens als bijbehorende SVG-tokens gezamenlijk genereert. DuetSVG wordt getraind op zowel beeld- als SVG-datasets. Tijdens de inferentie passen we een nieuwe test-time scaling-strategie toe die de inherente visuele voorspellingen van het model benut als leidraad om de SVG-decodeerkwaliteit te verbeteren. Uitgebreide experimenten tonen aan dat onze methode de bestaande methoden overtreft en visueel getrouwe, semantisch uitgelijnde en syntactisch zuivere SVG's produceert voor een breed scala aan toepassingen.
English
Recent vision-language model (VLM)-based approaches have achieved impressive results on SVG generation. However, because they generate only text and lack visual signals during decoding, they often struggle with complex semantics and fail to produce visually appealing or geometrically coherent SVGs. We introduce DuetSVG, a unified multimodal model that jointly generates image tokens and corresponding SVG tokens in an end-to-end manner. DuetSVG is trained on both image and SVG datasets. At inference, we apply a novel test-time scaling strategy that leverages the model's native visual predictions as guidance to improve SVG decoding quality. Extensive experiments show that our method outperforms existing methods, producing visually faithful, semantically aligned, and syntactically clean SVGs across a wide range of applications.