VecFusion: Geração de Fontes Vetoriais com Difusão

VecFusion: Vector Font Generation with Diffusion

December 16, 2023

Autores: Vikas Thamizharasan, Difan Liu, Shantanu Agarwal, Matthew Fisher, Michael Gharbi, Oliver Wang, Alec Jacobson, Evangelos Kalogerakis

cs.AI

Resumo

Apresentamos o VecFusion, uma nova arquitetura neural capaz de gerar fontes vetoriais com estruturas topológicas variadas e posições precisas de pontos de controle. Nossa abordagem é um modelo de difusão em cascata que consiste em um modelo de difusão raster seguido por um modelo de difusão vetorial. O modelo raster gera fontes rasterizadas de baixa resolução com informações auxiliares de pontos de controle, capturando o estilo global e a forma da fonte, enquanto o modelo vetorial sintetiza fontes vetoriais condicionadas às fontes raster de baixa resolução da primeira etapa. Para sintetizar curvas longas e complexas, nosso modelo de difusão vetorial utiliza uma arquitetura transformer e uma nova representação vetorial que permite a modelagem de geometria vetorial diversa e a previsão precisa de pontos de controle. Nossos experimentos mostram que, em contraste com modelos generativos anteriores para gráficos vetoriais, nosso novo modelo de difusão vetorial em cascata gera fontes vetoriais de maior qualidade, com estruturas complexas e estilos diversificados.

English

We present VecFusion, a new neural architecture that can generate vector fonts with varying topological structures and precise control point positions. Our approach is a cascaded diffusion model which consists of a raster diffusion model followed by a vector diffusion model. The raster model generates low-resolution, rasterized fonts with auxiliary control point information, capturing the global style and shape of the font, while the vector model synthesizes vector fonts conditioned on the low-resolution raster fonts from the first stage. To synthesize long and complex curves, our vector diffusion model uses a transformer architecture and a novel vector representation that enables the modeling of diverse vector geometry and the precise prediction of control points. Our experiments show that, in contrast to previous generative models for vector graphics, our new cascaded vector diffusion model generates higher quality vector fonts, with complex structures and diverse styles.