Les plannings de bruit de diffusion courants et les étapes d'échantillonnage sont défectueux.

Common Diffusion Noise Schedules and Sample Steps are Flawed

May 15, 2023

Auteurs: Shanchuan Lin, Bingchen Liu, Jiashi Li, Xiao Yang

cs.AI

Résumé

Nous découvrons que les échelles de bruit de diffusion couramment utilisées n’imposent pas un rapport signal-sur-bruit (SNR) nul au dernier pas de temps, et que certaines implémentations de méthodes d’échantillonnage par diffusion ne commencent pas à partir du dernier pas de temps. Ces conceptions sont erronées et ne reflètent pas le fait que le modèle reçoit un bruit gaussien pur lors de l’inférence, créant ainsi une divergence entre l’entraînement et l’inférence. Nous montrons que cette conception défectueuse pose des problèmes réels dans les implémentations existantes. Dans Stable Diffusion, elle limite sévèrement le modèle à ne générer que des images de luminosité moyenne et l’empêche de produire des échantillons très clairs ou très sombres. Nous proposons quelques corrections simples : (1) redimensionner l’échelle de bruit pour imposer un SNR terminal nul ; (2) entraîner le modèle avec une prédiction de v ; (3) modifier l’échantillonneur pour qu’il commence toujours au dernier pas de temps ; (4) redimensionner le guidage sans classificateur pour éviter la surexposition. Ces modifications simples garantissent que le processus de diffusion est cohérent entre l’entraînement et l’inférence et permettent au modèle de générer des échantillons plus fidèles à la distribution de données originale.

English

We discover that common diffusion noise schedules do not enforce the last timestep to have zero signal-to-noise ratio (SNR), and some implementations of diffusion samplers do not start from the last timestep. Such designs are flawed and do not reflect the fact that the model is given pure Gaussian noise at inference, creating a discrepancy between training and inference. We show that the flawed design causes real problems in existing implementations. In Stable Diffusion, it severely limits the model to only generate images with medium brightness and prevents it from generating very bright and dark samples. We propose a few simple fixes: (1) rescale the noise schedule to enforce zero terminal SNR; (2) train the model with v prediction; (3) change the sampler to always start from the last timestep; (4) rescale classifier-free guidance to prevent over-exposure. These simple changes ensure the diffusion process is congruent between training and inference and allow the model to generate samples more faithful to the original data distribution.