Gängige Diffusionsrauschpläne und Abtastschritte sind fehlerhaft
Common Diffusion Noise Schedules and Sample Steps are Flawed
May 15, 2023
Autoren: Shanchuan Lin, Bingchen Liu, Jiashi Li, Xiao Yang
cs.AI
Zusammenfassung
Wir stellen fest, dass gängige Rauschzeitpläne für Diffusionen nicht sicherstellen, dass der letzte Zeitschritt ein Signal-Rausch-Verhältnis (SNR) von null aufweist, und dass einige Implementierungen von Diffusionssamplern nicht vom letzten Zeitschritt ausgehen. Solche Designs sind fehlerhaft und spiegeln nicht wider, dass dem Modell während der Inferenz reines Gaußsches Rauschen gegeben wird, was zu einer Diskrepanz zwischen Training und Inferenz führt. Wir zeigen, dass das fehlerhafte Design in bestehenden Implementierungen reale Probleme verursacht. In Stable Diffusion schränkt es das Modell stark ein, sodass es nur Bilder mittlerer Helligkeit erzeugen kann und die Generierung sehr heller und dunkler Proben verhindert wird. Wir schlagen einige einfache Korrekturen vor: (1) Skalieren Sie den Rauschzeitplan neu, um ein SNR von null am Ende zu erzwingen; (2) trainieren Sie das Modell mit v-Vorhersage; (3) ändern Sie den Sampler so, dass er immer vom letzten Zeitschritt ausgeht; (4) skalieren Sie die klassifikatorfreie Führung neu, um Überbelichtung zu verhindern. Diese einfachen Änderungen stellen sicher, dass der Diffusionsprozess zwischen Training und Inferenz konsistent ist und ermöglichen es dem Modell, Proben zu erzeugen, die der ursprünglichen Datenverteilung treuer entsprechen.
English
We discover that common diffusion noise schedules do not enforce the last
timestep to have zero signal-to-noise ratio (SNR), and some implementations of
diffusion samplers do not start from the last timestep. Such designs are flawed
and do not reflect the fact that the model is given pure Gaussian noise at
inference, creating a discrepancy between training and inference. We show that
the flawed design causes real problems in existing implementations. In Stable
Diffusion, it severely limits the model to only generate images with medium
brightness and prevents it from generating very bright and dark samples. We
propose a few simple fixes: (1) rescale the noise schedule to enforce zero
terminal SNR; (2) train the model with v prediction; (3) change the sampler to
always start from the last timestep; (4) rescale classifier-free guidance to
prevent over-exposure. These simple changes ensure the diffusion process is
congruent between training and inference and allow the model to generate
samples more faithful to the original data distribution.