Le comuni pianificazioni del rumore e i passaggi di campionamento nella diffusione sono imperfetti.

Common Diffusion Noise Schedules and Sample Steps are Flawed

May 15, 2023

Autori: Shanchuan Lin, Bingchen Liu, Jiashi Li, Xiao Yang

cs.AI

Abstract

Scopriamo che le comuni schedulazioni del rumore nei modelli di diffusione non impongono che l'ultimo passo temporale abbia un rapporto segnale-rumore (SNR) pari a zero, e alcune implementazioni dei campionatori di diffusione non partono dall'ultimo passo temporale. Tali progettazioni sono difettose e non riflettono il fatto che il modello riceve rumore gaussiano puro durante l'inferenza, creando una discrepanza tra addestramento e inferenza. Dimostriamo che questa progettazione difettosa causa problemi reali nelle implementazioni esistenti. In Stable Diffusion, limita gravemente il modello a generare solo immagini con luminosità media e gli impedisce di produrre campioni molto luminosi o scuri. Proponiamo alcune semplici correzioni: (1) riscalare la schedulazione del rumore per imporre uno SNR terminale pari a zero; (2) addestrare il modello con la previsione di v; (3) modificare il campionatore per far sì che parta sempre dall'ultimo passo temporale; (4) riscalare la guida senza classificatore per prevenire la sovraesposizione. Questi semplici cambiamenti garantiscono che il processo di diffusione sia congruente tra addestramento e inferenza e consentono al modello di generare campioni più fedeli alla distribuzione originale dei dati.

English

We discover that common diffusion noise schedules do not enforce the last timestep to have zero signal-to-noise ratio (SNR), and some implementations of diffusion samplers do not start from the last timestep. Such designs are flawed and do not reflect the fact that the model is given pure Gaussian noise at inference, creating a discrepancy between training and inference. We show that the flawed design causes real problems in existing implementations. In Stable Diffusion, it severely limits the model to only generate images with medium brightness and prevents it from generating very bright and dark samples. We propose a few simple fixes: (1) rescale the noise schedule to enforce zero terminal SNR; (2) train the model with v prediction; (3) change the sampler to always start from the last timestep; (4) rescale classifier-free guidance to prevent over-exposure. These simple changes ensure the diffusion process is congruent between training and inference and allow the model to generate samples more faithful to the original data distribution.