VecFusion: Vector Font Generatie met Diffusie

VecFusion: Vector Font Generation with Diffusion

December 16, 2023

Auteurs: Vikas Thamizharasan, Difan Liu, Shantanu Agarwal, Matthew Fisher, Michael Gharbi, Oliver Wang, Alec Jacobson, Evangelos Kalogerakis

cs.AI

Samenvatting

We presenteren VecFusion, een nieuwe neurale architectuur die vectorfonts kan genereren met variërende topologische structuren en nauwkeurige positiebepaling van controlepunten. Onze aanpak is een gecascadeerd diffusiemodel dat bestaat uit een rasterdiffusiemodel gevolgd door een vectordiffusiemodel. Het rastermodel genereert laagresolutie, gerasterde fonts met aanvullende informatie over controlepunten, waarbij de globale stijl en vorm van het font worden vastgelegd, terwijl het vectormodel vectorfonts synthetiseert die zijn gebaseerd op de laagresolutie rasterfonts uit de eerste fase. Om lange en complexe curves te synthetiseren, gebruikt ons vectordiffusiemodel een transformer-architectuur en een nieuwe vectorrepresentatie die het mogelijk maakt om diverse vectorgeometrie te modelleren en controlepunten precies te voorspellen. Onze experimenten tonen aan dat, in tegenstelling tot eerdere generatieve modellen voor vectorgraphics, ons nieuwe gecascadeerde vectordiffusiemodel vectorfonts van hogere kwaliteit genereert, met complexe structuren en diverse stijlen.

English

We present VecFusion, a new neural architecture that can generate vector fonts with varying topological structures and precise control point positions. Our approach is a cascaded diffusion model which consists of a raster diffusion model followed by a vector diffusion model. The raster model generates low-resolution, rasterized fonts with auxiliary control point information, capturing the global style and shape of the font, while the vector model synthesizes vector fonts conditioned on the low-resolution raster fonts from the first stage. To synthesize long and complex curves, our vector diffusion model uses a transformer architecture and a novel vector representation that enables the modeling of diverse vector geometry and the precise prediction of control points. Our experiments show that, in contrast to previous generative models for vector graphics, our new cascaded vector diffusion model generates higher quality vector fonts, with complex structures and diverse styles.