VecFusion: Генерация векторных шрифтов с использованием диффузии

VecFusion: Vector Font Generation with Diffusion

December 16, 2023

Авторы: Vikas Thamizharasan, Difan Liu, Shantanu Agarwal, Matthew Fisher, Michael Gharbi, Oliver Wang, Alec Jacobson, Evangelos Kalogerakis

cs.AI

Аннотация

Мы представляем VecFusion, новую нейронную архитектуру, способную генерировать векторные шрифты с различными топологическими структурами и точным позиционированием контрольных точек. Наш подход основан на каскадной диффузионной модели, которая состоит из растровой диффузионной модели, за которой следует векторная диффузионная модель. Растровая модель генерирует низкокачественные растровые шрифты с дополнительной информацией о контрольных точках, фиксируя глобальный стиль и форму шрифта, в то время как векторная модель синтезирует векторные шрифты, основываясь на низкокачественных растровых шрифтах, полученных на первом этапе. Для синтеза длинных и сложных кривых наша векторная диффузионная модель использует архитектуру трансформера и новое векторное представление, которое позволяет моделировать разнообразную векторную геометрию и точно предсказывать положение контрольных точек. Наши эксперименты показывают, что в отличие от предыдущих генеративных моделей для векторной графики, новая каскадная векторная диффузионная модель генерирует векторные шрифты более высокого качества, с сложными структурами и разнообразными стилями.

English

We present VecFusion, a new neural architecture that can generate vector fonts with varying topological structures and precise control point positions. Our approach is a cascaded diffusion model which consists of a raster diffusion model followed by a vector diffusion model. The raster model generates low-resolution, rasterized fonts with auxiliary control point information, capturing the global style and shape of the font, while the vector model synthesizes vector fonts conditioned on the low-resolution raster fonts from the first stage. To synthesize long and complex curves, our vector diffusion model uses a transformer architecture and a novel vector representation that enables the modeling of diverse vector geometry and the precise prediction of control points. Our experiments show that, in contrast to previous generative models for vector graphics, our new cascaded vector diffusion model generates higher quality vector fonts, with complex structures and diverse styles.