Die Anwendung von Richtlinien in einem begrenzten Intervall verbessert die Muster- und Verteilungsqualität in Diffusionsmodellen.

Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models

April 11, 2024

Autoren: Tuomas Kynkäänniemi, Miika Aittala, Tero Karras, Samuli Laine, Timo Aila, Jaakko Lehtinen

cs.AI

Zusammenfassung

Die Anleitung ist eine entscheidende Technik, um die beste Leistung aus bildgenerierenden Diffusionsmodellen zu extrahieren. Traditionell wurde ein konstantes Anleitungsgewicht während der gesamten Abtastkette eines Bildes angewendet. Wir zeigen, dass Anleitung zu Beginn der Kette (hohe Rauschniveaus) deutlich schädlich ist, gegen Ende (niedrige Rauschniveaus) weitgehend unnötig ist und nur in der Mitte vorteilhaft ist. Daher beschränken wir es auf einen spezifischen Bereich von Rauschniveaus, was sowohl die Inferenzgeschwindigkeit als auch die Ergebnisqualität verbessert. Dieses begrenzte Anleitungsinvervall verbessert den Rekord-FID in ImageNet-512 signifikant, von 1,81 auf 1,40. Wir zeigen, dass es quantitativ und qualitativ vorteilhaft ist, unabhängig von verschiedenen Abtastparameter, Netzwerkarchitekturen und Datensätzen, einschließlich des groß angelegten Stable Diffusion XL. Daher schlagen wir vor, das Anleitungsinvervall als Hyperparameter in allen Diffusionsmodellen, die Anleitung verwenden, freizulegen.

English

Guidance is a crucial technique for extracting the best performance out of image-generating diffusion models. Traditionally, a constant guidance weight has been applied throughout the sampling chain of an image. We show that guidance is clearly harmful toward the beginning of the chain (high noise levels), largely unnecessary toward the end (low noise levels), and only beneficial in the middle. We thus restrict it to a specific range of noise levels, improving both the inference speed and result quality. This limited guidance interval improves the record FID in ImageNet-512 significantly, from 1.81 to 1.40. We show that it is quantitatively and qualitatively beneficial across different sampler parameters, network architectures, and datasets, including the large-scale setting of Stable Diffusion XL. We thus suggest exposing the guidance interval as a hyperparameter in all diffusion models that use guidance.