Gangbare diffusie-ruis schema's en bemonsteringsstappen zijn gebrekkig

Common Diffusion Noise Schedules and Sample Steps are Flawed

May 15, 2023

Auteurs: Shanchuan Lin, Bingchen Liu, Jiashi Li, Xiao Yang

cs.AI

Samenvatting

We ontdekken dat veelgebruikte diffusieteruigheidschema's niet afdwingen dat de laatste tijdstap een signaal-ruisverhouding (SNR) van nul heeft, en sommige implementaties van diffusiesamplers beginnen niet vanaf de laatste tijdstap. Dergelijke ontwerpen zijn gebrekkig en weerspiegelen niet het feit dat het model tijdens inferentie puur Gaussiaanse ruis krijgt, wat een discrepantie creëert tussen training en inferentie. We tonen aan dat het gebrekkige ontwerp echte problemen veroorzaakt in bestaande implementaties. In Stable Diffusion beperkt het het model ernstig tot het genereren van alleen afbeeldingen met gemiddelde helderheid en voorkomt het dat zeer heldere en donkere samples worden gegenereerd. We stellen een aantal eenvoudige oplossingen voor: (1) herschaal het ruisschema om een terminale SNR van nul af te dwingen; (2) train het model met v-voorspelling; (3) wijzig de sampler om altijd vanaf de laatste tijdstap te beginnen; (4) herschaal de classifier-free guidance om overbelichting te voorkomen. Deze eenvoudige wijzigingen zorgen ervoor dat het diffusieproces congruent is tussen training en inferentie en stellen het model in staat om samples te genereren die trouwer zijn aan de oorspronkelijke datadistributie.

English

We discover that common diffusion noise schedules do not enforce the last timestep to have zero signal-to-noise ratio (SNR), and some implementations of diffusion samplers do not start from the last timestep. Such designs are flawed and do not reflect the fact that the model is given pure Gaussian noise at inference, creating a discrepancy between training and inference. We show that the flawed design causes real problems in existing implementations. In Stable Diffusion, it severely limits the model to only generate images with medium brightness and prevents it from generating very bright and dark samples. We propose a few simple fixes: (1) rescale the noise schedule to enforce zero terminal SNR; (2) train the model with v prediction; (3) change the sampler to always start from the last timestep; (4) rescale classifier-free guidance to prevent over-exposure. These simple changes ensure the diffusion process is congruent between training and inference and allow the model to generate samples more faithful to the original data distribution.