VecFusion: Vektorschriftgenerierung mit Diffusion

VecFusion: Vector Font Generation with Diffusion

December 16, 2023

Autoren: Vikas Thamizharasan, Difan Liu, Shantanu Agarwal, Matthew Fisher, Michael Gharbi, Oliver Wang, Alec Jacobson, Evangelos Kalogerakis

cs.AI

Zusammenfassung

Wir stellen VecFusion vor, eine neue neuronale Architektur, die Vektorschriften mit variierenden topologischen Strukturen und präzisen Kontrollpunktpositionen erzeugen kann. Unser Ansatz ist ein kaskadierendes Diffusionsmodell, das aus einem Raster-Diffusionsmodell gefolgt von einem Vektor-Diffusionsmodell besteht. Das Rastermodell erzeugt niedrigauflösende, rasterisierte Schriften mit zusätzlichen Kontrollpunktinformationen, die den globalen Stil und die Form der Schrift erfassen, während das Vektormodell Vektorschriften synthetisiert, die auf den niedrigauflösenden Rasterschriften der ersten Stufe basieren. Um lange und komplexe Kurven zu synthetisieren, verwendet unser Vektor-Diffusionsmodell eine Transformer-Architektur und eine neuartige Vektordarstellung, die die Modellierung vielfältiger Vektorgeometrie und die präzise Vorhersage von Kontrollpunkten ermöglicht. Unsere Experimente zeigen, dass im Gegensatz zu früheren generativen Modellen für Vektorgrafiken unser neues kaskadierendes Vektor-Diffusionsmodell Vektorschriften von höherer Qualität mit komplexen Strukturen und vielfältigen Stilen erzeugt.

English

We present VecFusion, a new neural architecture that can generate vector fonts with varying topological structures and precise control point positions. Our approach is a cascaded diffusion model which consists of a raster diffusion model followed by a vector diffusion model. The raster model generates low-resolution, rasterized fonts with auxiliary control point information, capturing the global style and shape of the font, while the vector model synthesizes vector fonts conditioned on the low-resolution raster fonts from the first stage. To synthesize long and complex curves, our vector diffusion model uses a transformer architecture and a novel vector representation that enables the modeling of diverse vector geometry and the precise prediction of control points. Our experiments show that, in contrast to previous generative models for vector graphics, our new cascaded vector diffusion model generates higher quality vector fonts, with complex structures and diverse styles.