Stijl-Vriendelijke SNR Sampler voor Stijlgestuurde Generatie

Style-Friendly SNR Sampler for Style-Driven Generation

November 22, 2024

Auteurs: Jooyoung Choi, Chaehun Shin, Yeongtak Oh, Heeseung Kim, Sungroh Yoon

cs.AI

Samenvatting

Recente grootschalige diffusiemodellen genereren hoogwaardige afbeeldingen, maar hebben moeite met het leren van nieuwe, gepersonaliseerde artistieke stijlen, wat de creatie van unieke stijlsjablonen beperkt. Fijnafstemming met referentieafbeeldingen is de meest veelbelovende benadering, maar maakt vaak blindelings gebruik van doelstellingen en ruisniveaudistributies die worden gebruikt voor voorafgaande training, wat leidt tot suboptimale stijluitlijning. Wij stellen de Stijlvriendelijke SNR-sampler voor, die agressief de signaal-ruisverhouding (SNR) distributie verschuift naar hogere ruisniveaus tijdens fijnafstemming om zich te richten op ruisniveaus waar stilistische kenmerken naar voren komen. Dit stelt modellen in staat om unieke stijlen beter vast te leggen en afbeeldingen te genereren met een hogere stijluitlijning. Onze methode stelt diffusiemodellen in staat om nieuwe "stijlsjablonen" te leren en te delen, waardoor gepersonaliseerde inhoud creatie wordt verbeterd. We tonen de mogelijkheid om stijlen te genereren zoals persoonlijke aquarelschilderijen, minimale platte cartoons, 3D-renderingen, meerluikafbeeldingen en memes met tekst, waardoor het bereik van op stijl gebaseerde generatie wordt verbreed.

English

Recent large-scale diffusion models generate high-quality images but struggle to learn new, personalized artistic styles, which limits the creation of unique style templates. Fine-tuning with reference images is the most promising approach, but it often blindly utilizes objectives and noise level distributions used for pre-training, leading to suboptimal style alignment. We propose the Style-friendly SNR sampler, which aggressively shifts the signal-to-noise ratio (SNR) distribution toward higher noise levels during fine-tuning to focus on noise levels where stylistic features emerge. This enables models to better capture unique styles and generate images with higher style alignment. Our method allows diffusion models to learn and share new "style templates", enhancing personalized content creation. We demonstrate the ability to generate styles such as personal watercolor paintings, minimal flat cartoons, 3D renderings, multi-panel images, and memes with text, thereby broadening the scope of style-driven generation.