Het verminderen van de ruisverschuiving voor denoising generatieve modellen via ruisbewustzijnsbegeleiding

Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance

October 14, 2025

Auteurs: Jincheng Zhong, Boyuan Jiang, Xin Tao, Pengfei Wan, Kun Gai, Mingsheng Long

cs.AI

Samenvatting

Bestaande denoising generatieve modellen zijn gebaseerd op het oplossen van gediscretiseerde reverse-time SDE's of ODE's. In dit artikel identificeren we een lang over het hoofd gezien maar wijdverbreid probleem in deze familie van modellen: een mismatch tussen het vooraf gedefinieerde ruisniveau en het daadwerkelijke ruisniveau dat is gecodeerd in tussenliggende toestanden tijdens het samplingproces. We verwijzen naar deze mismatch als ruisverschuiving. Door empirische analyse tonen we aan dat ruisverschuiving veel voorkomt in moderne diffusiemodellen en een systematische bias vertoont, wat leidt tot suboptimale generatie als gevolg van zowel out-of-distribution generalisatie als onnauwkeurige denoising updates. Om dit probleem aan te pakken, stellen we Noise Awareness Guidance (NAG) voor, een eenvoudige maar effectieve correctiemethode die expliciet de samplingtrajectoriën stuurt om consistent te blijven met het vooraf gedefinieerde ruisschema. We introduceren verder een classifier-free variant van NAG, die gezamenlijk een ruis-conditioneel en een ruis-onconditioneel model traint via ruis-conditionele dropout, waardoor de behoefte aan externe classifiers wordt geëlimineerd. Uitgebreide experimenten, waaronder ImageNet-generatie en diverse supervised fine-tuning taken, tonen aan dat NAG consistent ruisverschuiving vermindert en de generatiekwaliteit van mainstream diffusiemodellen aanzienlijk verbetert.

English

Existing denoising generative models rely on solving discretized reverse-time SDEs or ODEs. In this paper, we identify a long-overlooked yet pervasive issue in this family of models: a misalignment between the pre-defined noise level and the actual noise level encoded in intermediate states during sampling. We refer to this misalignment as noise shift. Through empirical analysis, we demonstrate that noise shift is widespread in modern diffusion models and exhibits a systematic bias, leading to sub-optimal generation due to both out-of-distribution generalization and inaccurate denoising updates. To address this problem, we propose Noise Awareness Guidance (NAG), a simple yet effective correction method that explicitly steers sampling trajectories to remain consistent with the pre-defined noise schedule. We further introduce a classifier-free variant of NAG, which jointly trains a noise-conditional and a noise-unconditional model via noise-condition dropout, thereby eliminating the need for external classifiers. Extensive experiments, including ImageNet generation and various supervised fine-tuning tasks, show that NAG consistently mitigates noise shift and substantially improves the generation quality of mainstream diffusion models.