Cronogramas Comuns de Ruído de Difusão e Passos de Amostragem São Defeituosos

Common Diffusion Noise Schedules and Sample Steps are Flawed

May 15, 2023

Autores: Shanchuan Lin, Bingchen Liu, Jiashi Li, Xiao Yang

cs.AI

Resumo

Descobrimos que os cronogramas de ruído comuns em difusão não garantem que o último passo temporal tenha uma razão sinal-ruído (SNR) zero, e algumas implementações de amostradores de difusão não começam a partir do último passo temporal. Esses projetos são falhos e não refletem o fato de que o modelo recebe ruído gaussiano puro durante a inferência, criando uma discrepância entre o treinamento e a inferência. Mostramos que o projeto falho causa problemas reais em implementações existentes. No Stable Diffusion, ele limita severamente o modelo a gerar apenas imagens com brilho médio e impede a geração de amostras muito claras ou escuras. Propomos algumas correções simples: (1) redimensionar o cronograma de ruído para garantir SNR terminal zero; (2) treinar o modelo com predição de v; (3) alterar o amostrador para sempre começar a partir do último passo temporal; (4) redimensionar a orientação livre de classificador para evitar superexposição. Essas mudanças simples garantem que o processo de difusão seja congruente entre treinamento e inferência e permitem que o modelo gere amostras mais fiéis à distribuição original dos dados.

English

We discover that common diffusion noise schedules do not enforce the last timestep to have zero signal-to-noise ratio (SNR), and some implementations of diffusion samplers do not start from the last timestep. Such designs are flawed and do not reflect the fact that the model is given pure Gaussian noise at inference, creating a discrepancy between training and inference. We show that the flawed design causes real problems in existing implementations. In Stable Diffusion, it severely limits the model to only generate images with medium brightness and prevents it from generating very bright and dark samples. We propose a few simple fixes: (1) rescale the noise schedule to enforce zero terminal SNR; (2) train the model with v prediction; (3) change the sampler to always start from the last timestep; (4) rescale classifier-free guidance to prevent over-exposure. These simple changes ensure the diffusion process is congruent between training and inference and allow the model to generate samples more faithful to the original data distribution.