Het toepassen van begeleiding binnen een beperkt interval verbetert de kwaliteit van samples en distributies in diffusiemodellen.

Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models

April 11, 2024

Auteurs: Tuomas Kynkäänniemi, Miika Aittala, Tero Karras, Samuli Laine, Timo Aila, Jaakko Lehtinen

cs.AI

Samenvatting

Begeleiding is een cruciale techniek om de beste prestaties uit beeldgenererende diffusiemodellen te halen. Traditioneel wordt een constant begeleidingsgewicht toegepast gedurende de gehele bemonsteringsketen van een afbeelding. Wij tonen aan dat begeleiding duidelijk schadelijk is aan het begin van de keten (hoge ruisniveaus), grotendeels overbodig aan het einde (lage ruisniveaus), en alleen nuttig in het midden. Daarom beperken we het tot een specifiek bereik van ruisniveaus, wat zowel de inferentiesnelheid als de resultaatkwaliteit verbetert. Dit beperkte begeleidingsinterval verbetert het record-FID in ImageNet-512 aanzienlijk, van 1,81 naar 1,40. Wij tonen aan dat het zowel kwantitatief als kwalitatief voordelig is over verschillende bemonsteringsparameters, netwerkarchitecturen en datasets, inclusief de grootschalige setting van Stable Diffusion XL. Daarom stellen wij voor om het begeleidingsinterval als hyperparameter beschikbaar te stellen in alle diffusiemodellen die begeleiding gebruiken.

English

Guidance is a crucial technique for extracting the best performance out of image-generating diffusion models. Traditionally, a constant guidance weight has been applied throughout the sampling chain of an image. We show that guidance is clearly harmful toward the beginning of the chain (high noise levels), largely unnecessary toward the end (low noise levels), and only beneficial in the middle. We thus restrict it to a specific range of noise levels, improving both the inference speed and result quality. This limited guidance interval improves the record FID in ImageNet-512 significantly, from 1.81 to 1.40. We show that it is quantitatively and qualitatively beneficial across different sampler parameters, network architectures, and datasets, including the large-scale setting of Stable Diffusion XL. We thus suggest exposing the guidance interval as a hyperparameter in all diffusion models that use guidance.