VecFusion: Generación de Fuentes Vectoriales con Difusión

VecFusion: Vector Font Generation with Diffusion

December 16, 2023

Autores: Vikas Thamizharasan, Difan Liu, Shantanu Agarwal, Matthew Fisher, Michael Gharbi, Oliver Wang, Alec Jacobson, Evangelos Kalogerakis

cs.AI

Resumen

Presentamos VecFusion, una nueva arquitectura neuronal capaz de generar fuentes vectoriales con estructuras topológicas variables y posiciones precisas de puntos de control. Nuestro enfoque es un modelo de difusión en cascada que consta de un modelo de difusión raster seguido de un modelo de difusión vectorial. El modelo raster genera fuentes rasterizadas de baja resolución con información auxiliar de puntos de control, capturando el estilo global y la forma de la fuente, mientras que el modelo vectorial sintetiza fuentes vectoriales condicionadas por las fuentes raster de baja resolución de la primera etapa. Para sintetizar curvas largas y complejas, nuestro modelo de difusión vectorial utiliza una arquitectura transformer y una novedosa representación vectorial que permite modelar geometría vectorial diversa y predecir con precisión los puntos de control. Nuestros experimentos muestran que, en contraste con modelos generativos previos para gráficos vectoriales, nuestro nuevo modelo de difusión vectorial en cascada genera fuentes vectoriales de mayor calidad, con estructuras complejas y estilos diversos.

English

We present VecFusion, a new neural architecture that can generate vector fonts with varying topological structures and precise control point positions. Our approach is a cascaded diffusion model which consists of a raster diffusion model followed by a vector diffusion model. The raster model generates low-resolution, rasterized fonts with auxiliary control point information, capturing the global style and shape of the font, while the vector model synthesizes vector fonts conditioned on the low-resolution raster fonts from the first stage. To synthesize long and complex curves, our vector diffusion model uses a transformer architecture and a novel vector representation that enables the modeling of diverse vector geometry and the precise prediction of control points. Our experiments show that, in contrast to previous generative models for vector graphics, our new cascaded vector diffusion model generates higher quality vector fonts, with complex structures and diverse styles.