StrokeNUWA: Tokenización de trazos para la síntesis de gráficos vectoriales
StrokeNUWA: Tokenizing Strokes for Vector Graphic Synthesis
January 30, 2024
Autores: Zecheng Tang, Chenfei Wu, Zekai Zhang, Mingheng Ni, Shengming Yin, Yu Liu, Zhengyuan Yang, Lijuan Wang, Zicheng Liu, Juntao Li, Nan Duan
cs.AI
Resumen
Para aprovechar los LLM en la síntesis visual, los métodos tradicionales convierten la información de imágenes raster en tokens de cuadrícula discretos mediante módulos visuales especializados, lo que interrumpe la capacidad del modelo para capturar la verdadera representación semántica de las escenas visuales. Este artículo propone que una representación alternativa de las imágenes, los gráficos vectoriales, puede superar eficazmente esta limitación al permitir una segmentación más natural y semánticamente coherente de la información de la imagen. Así, presentamos StrokeNUWA, un trabajo pionero que explora una mejor representación visual llamada "tokens de trazo" en gráficos vectoriales, que es intrínsecamente rica en semántica visual, naturalmente compatible con los LLM y altamente comprimida. Equipado con tokens de trazo, StrokeNUWA puede superar significativamente a los métodos tradicionales basados en LLM y en optimización en diversas métricas en la tarea de generación de gráficos vectoriales. Además, StrokeNUWA logra una aceleración de hasta 94x en la inferencia respecto a la velocidad de métodos anteriores, con una excepcional tasa de compresión de código SVG del 6,9%.
English
To leverage LLMs for visual synthesis, traditional methods convert raster
image information into discrete grid tokens through specialized visual modules,
while disrupting the model's ability to capture the true semantic
representation of visual scenes. This paper posits that an alternative
representation of images, vector graphics, can effectively surmount this
limitation by enabling a more natural and semantically coherent segmentation of
the image information. Thus, we introduce StrokeNUWA, a pioneering work
exploring a better visual representation ''stroke tokens'' on vector graphics,
which is inherently visual semantics rich, naturally compatible with LLMs, and
highly compressed. Equipped with stroke tokens, StrokeNUWA can significantly
surpass traditional LLM-based and optimization-based methods across various
metrics in the vector graphic generation task. Besides, StrokeNUWA achieves up
to a 94x speedup in inference over the speed of prior methods with an
exceptional SVG code compression ratio of 6.9%.