Stijlaanpassing van tekst-naar-vector-generatie met beelddiffusieprioriteiten

Style Customization of Text-to-Vector Generation with Image Diffusion Priors

May 15, 2025

Auteurs: Peiying Zhang, Nanxuan Zhao, Jing Liao

cs.AI

Samenvatting

Scalable Vector Graphics (SVG's) worden zeer gewaardeerd door ontwerpers vanwege hun resolutie-onafhankelijkheid en goed georganiseerde laagstructuur. Hoewel bestaande tekst-naar-vector (T2V) generatiemethoden SVG's kunnen creëren op basis van tekstprompts, negeren ze vaak een belangrijke behoefte in praktische toepassingen: stijlaanpassing, wat essentieel is voor het produceren van een verzameling vectorafbeeldingen met een consistent visueel uiterlijk en samenhangende esthetiek. Het uitbreiden van bestaande T2V-methoden voor stijlaanpassing brengt bepaalde uitdagingen met zich mee. Optimalisatiegebaseerde T2V-modellen kunnen de prioriteiten van tekst-naar-afbeelding (T2I) modellen gebruiken voor aanpassing, maar hebben moeite met het behouden van structurele regelmaat. Aan de andere kant kunnen feed-forward T2V-modellen structurele regelmaat garanderen, maar ze ondervinden moeilijkheden bij het ontwarren van inhoud en stijl vanwege beperkte SVG-trainingsdata. Om deze uitdagingen aan te pakken, stellen we een nieuwe tweefasen pijplijn voor stijlaanpassing voor SVG-generatie voor, waarbij we gebruikmaken van de voordelen van zowel feed-forward T2V-modellen als T2I-afbeeldingsprioriteiten. In de eerste fase trainen we een T2V-diffusiemodel met een padniveau-representatie om de structurele regelmaat van SVG's te waarborgen, terwijl diverse expressieve mogelijkheden behouden blijven. In de tweede fase passen we het T2V-diffusiemodel aan verschillende stijlen aan door aangepaste T2I-modellen te destilleren. Door deze technieken te integreren, kan onze pijplijn hoogwaardige en diverse SVG's in aangepaste stijlen genereren op basis van tekstprompts op een efficiënte feed-forward manier. De effectiviteit van onze methode is gevalideerd door uitgebreide experimenten. De projectpagina is te vinden op https://customsvg.github.io.

English

Scalable Vector Graphics (SVGs) are highly favored by designers due to their resolution independence and well-organized layer structure. Although existing text-to-vector (T2V) generation methods can create SVGs from text prompts, they often overlook an important need in practical applications: style customization, which is vital for producing a collection of vector graphics with consistent visual appearance and coherent aesthetics. Extending existing T2V methods for style customization poses certain challenges. Optimization-based T2V models can utilize the priors of text-to-image (T2I) models for customization, but struggle with maintaining structural regularity. On the other hand, feed-forward T2V models can ensure structural regularity, yet they encounter difficulties in disentangling content and style due to limited SVG training data. To address these challenges, we propose a novel two-stage style customization pipeline for SVG generation, making use of the advantages of both feed-forward T2V models and T2I image priors. In the first stage, we train a T2V diffusion model with a path-level representation to ensure the structural regularity of SVGs while preserving diverse expressive capabilities. In the second stage, we customize the T2V diffusion model to different styles by distilling customized T2I models. By integrating these techniques, our pipeline can generate high-quality and diverse SVGs in custom styles based on text prompts in an efficient feed-forward manner. The effectiveness of our method has been validated through extensive experiments. The project page is https://customsvg.github.io.