DuetSVG: Generación Unificada de SVG Multimodal con Guía Visual Interna
DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance
December 11, 2025
Autores: Peiying Zhang, Nanxuan Zhao, Matthew Fisher, Yiran Xu, Jing Liao, Difan Liu
cs.AI
Resumen
Los enfoques recientes basados en modelos de visión y lenguaje (VLM) han logrado resultados impresionantes en la generación de SVG. Sin embargo, dado que solo generan texto y carecen de señales visuales durante la decodificación, a menudo tienen dificultades con semánticas complejas y no logran producir SVG visualmente atractivos o geométricamente coherentes. Presentamos DuetSVG, un modelo multimodal unificado que genera conjuntamente tokens de imagen y tokens SVG correspondientes de manera integral. DuetSVG se entrena con conjuntos de datos tanto de imágenes como de SVG. Durante la inferencia, aplicamos una novedosa estrategia de escalado en tiempo de prueba que aprovecha las predicciones visuales nativas del modelo como guía para mejorar la calidad de la decodificación SVG. Experimentos exhaustivos demuestran que nuestro método supera a los existentes, produciendo SVG visualmente fieles, semánticamente alineados y sintácticamente limpios en una amplia gama de aplicaciones.
English
Recent vision-language model (VLM)-based approaches have achieved impressive results on SVG generation. However, because they generate only text and lack visual signals during decoding, they often struggle with complex semantics and fail to produce visually appealing or geometrically coherent SVGs. We introduce DuetSVG, a unified multimodal model that jointly generates image tokens and corresponding SVG tokens in an end-to-end manner. DuetSVG is trained on both image and SVG datasets. At inference, we apply a novel test-time scaling strategy that leverages the model's native visual predictions as guidance to improve SVG decoding quality. Extensive experiments show that our method outperforms existing methods, producing visually faithful, semantically aligned, and syntactically clean SVGs across a wide range of applications.