VecFusion : Génération de polices vectorielles par diffusion

VecFusion: Vector Font Generation with Diffusion

December 16, 2023

Auteurs: Vikas Thamizharasan, Difan Liu, Shantanu Agarwal, Matthew Fisher, Michael Gharbi, Oliver Wang, Alec Jacobson, Evangelos Kalogerakis

cs.AI

Résumé

Nous présentons VecFusion, une nouvelle architecture neuronale capable de générer des polices vectorielles avec des structures topologiques variées et des positions de points de contrôle précises. Notre approche repose sur un modèle de diffusion en cascade, composé d'un modèle de diffusion raster suivi d'un modèle de diffusion vectorielle. Le modèle raster génère des polices rasterisées en basse résolution accompagnées d'informations auxiliaires sur les points de contrôle, capturant ainsi le style global et la forme de la police, tandis que le modèle vectoriel synthétise des polices vectorielles conditionnées par les polices raster en basse résolution issues de la première étape. Pour synthétiser des courbes longues et complexes, notre modèle de diffusion vectorielle utilise une architecture de type transformer et une nouvelle représentation vectorielle qui permet de modéliser une géométrie vectorielle diversifiée et de prédire avec précision les points de contrôle. Nos expériences montrent que, contrairement aux modèles génératifs précédents pour les graphiques vectoriels, notre nouveau modèle de diffusion vectorielle en cascade produit des polices vectorielles de meilleure qualité, avec des structures complexes et des styles variés.

English

We present VecFusion, a new neural architecture that can generate vector fonts with varying topological structures and precise control point positions. Our approach is a cascaded diffusion model which consists of a raster diffusion model followed by a vector diffusion model. The raster model generates low-resolution, rasterized fonts with auxiliary control point information, capturing the global style and shape of the font, while the vector model synthesizes vector fonts conditioned on the low-resolution raster fonts from the first stage. To synthesize long and complex curves, our vector diffusion model uses a transformer architecture and a novel vector representation that enables the modeling of diverse vector geometry and the precise prediction of control points. Our experiments show that, in contrast to previous generative models for vector graphics, our new cascaded vector diffusion model generates higher quality vector fonts, with complex structures and diverse styles.