VecFusion: Generazione di Font Vettoriali con Diffusione

VecFusion: Vector Font Generation with Diffusion

December 16, 2023

Autori: Vikas Thamizharasan, Difan Liu, Shantanu Agarwal, Matthew Fisher, Michael Gharbi, Oliver Wang, Alec Jacobson, Evangelos Kalogerakis

cs.AI

Abstract

Presentiamo VecFusion, una nuova architettura neurale in grado di generare font vettoriali con strutture topologiche variabili e posizioni precise dei punti di controllo. Il nostro approccio è un modello di diffusione a cascata composto da un modello di diffusione raster seguito da un modello di diffusione vettoriale. Il modello raster genera font rasterizzati a bassa risoluzione con informazioni ausiliarie sui punti di controllo, catturando lo stile globale e la forma del font, mentre il modello vettoriale sintetizza font vettoriali condizionati dai font raster a bassa risoluzione della prima fase. Per sintetizzare curve lunghe e complesse, il nostro modello di diffusione vettoriale utilizza un'architettura transformer e una nuova rappresentazione vettoriale che consente la modellazione di geometrie vettoriali diverse e la previsione precisa dei punti di controllo. I nostri esperimenti dimostrano che, a differenza dei precedenti modelli generativi per la grafica vettoriale, il nostro nuovo modello di diffusione vettoriale a cascata genera font vettoriali di qualità superiore, con strutture complesse e stili diversificati.

English

We present VecFusion, a new neural architecture that can generate vector fonts with varying topological structures and precise control point positions. Our approach is a cascaded diffusion model which consists of a raster diffusion model followed by a vector diffusion model. The raster model generates low-resolution, rasterized fonts with auxiliary control point information, capturing the global style and shape of the font, while the vector model synthesizes vector fonts conditioned on the low-resolution raster fonts from the first stage. To synthesize long and complex curves, our vector diffusion model uses a transformer architecture and a novel vector representation that enables the modeling of diverse vector geometry and the precise prediction of control points. Our experiments show that, in contrast to previous generative models for vector graphics, our new cascaded vector diffusion model generates higher quality vector fonts, with complex structures and diverse styles.