L'application d'un guidage sur un intervalle limité améliore la qualité des échantillons et de la distribution dans les modèles de diffusion.

Applying Guidance in a Limited Interval Improves Sample and Distribution Quality in Diffusion Models

April 11, 2024

Auteurs: Tuomas Kynkäänniemi, Miika Aittala, Tero Karras, Samuli Laine, Timo Aila, Jaakko Lehtinen

cs.AI

Résumé

Le guidage est une technique cruciale pour optimiser les performances des modèles de génération d'images par diffusion. Traditionnellement, un poids de guidage constant est appliqué tout au long de la chaîne d'échantillonnage d'une image. Nous démontrons que le guidage est clairement néfaste au début de la chaîne (niveaux de bruit élevés), largement inutile à la fin (niveaux de bruit faibles), et bénéfique uniquement au milieu. Nous le restreignons donc à une plage spécifique de niveaux de bruit, améliorant à la fois la vitesse d'inférence et la qualité des résultats. Cet intervalle de guidage limité améliore significativement le FID record sur ImageNet-512, passant de 1,81 à 1,40. Nous montrons qu'il est bénéfique quantitativement et qualitativement pour différents paramètres d'échantillonnage, architectures de réseaux et ensembles de données, y compris dans le cadre à grande échelle de Stable Diffusion XL. Nous suggérons donc d'exposer l'intervalle de guidage comme hyperparamètre dans tous les modèles de diffusion utilisant le guidage.

English

Guidance is a crucial technique for extracting the best performance out of image-generating diffusion models. Traditionally, a constant guidance weight has been applied throughout the sampling chain of an image. We show that guidance is clearly harmful toward the beginning of the chain (high noise levels), largely unnecessary toward the end (low noise levels), and only beneficial in the middle. We thus restrict it to a specific range of noise levels, improving both the inference speed and result quality. This limited guidance interval improves the record FID in ImageNet-512 significantly, from 1.81 to 1.40. We show that it is quantitatively and qualitatively beneficial across different sampler parameters, network architectures, and datasets, including the large-scale setting of Stable Diffusion XL. We thus suggest exposing the guidance interval as a hyperparameter in all diffusion models that use guidance.