Смягчение сдвига шума для моделей генерации с шумоподавлением с помощью управления, учитывающего шум

Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance

October 14, 2025

Авторы: Jincheng Zhong, Boyuan Jiang, Xin Tao, Pengfei Wan, Kun Gai, Mingsheng Long

cs.AI

Аннотация

Существующие генеративные модели шумоподавления основываются на решении дискретизированных обратных стохастических дифференциальных уравнений (SDE) или обыкновенных дифференциальных уравнений (ODE). В данной работе мы выявляем давно упускаемую, но широко распространённую проблему в этом семействе моделей: несоответствие между предопределённым уровнем шума и фактическим уровнем шума, закодированным в промежуточных состояниях в процессе выборки. Мы называем это несоответствие сдвигом шума. С помощью эмпирического анализа мы демонстрируем, что сдвиг шума широко распространён в современных диффузионных моделях и проявляет систематическую ошибку, приводящую к субоптимальной генерации из-за как обобщения за пределами распределения, так и неточных обновлений шумоподавления. Для решения этой проблемы мы предлагаем метод Noise Awareness Guidance (NAG) — простой, но эффективный способ коррекции, который явно направляет траектории выборки на соответствие предопределённому графику шума. Мы также представляем вариант NAG, не требующий классификатора, который совместно обучает модель, зависящую от шума, и модель, не зависящую от шума, с помощью dropout, зависящего от уровня шума, что устраняет необходимость во внешних классификаторах. Многочисленные эксперименты, включая генерацию на ImageNet и различные задачи контролируемой тонкой настройки, показывают, что NAG последовательно устраняет сдвиг шума и существенно улучшает качество генерации в основных диффузионных моделях.

English

Existing denoising generative models rely on solving discretized reverse-time SDEs or ODEs. In this paper, we identify a long-overlooked yet pervasive issue in this family of models: a misalignment between the pre-defined noise level and the actual noise level encoded in intermediate states during sampling. We refer to this misalignment as noise shift. Through empirical analysis, we demonstrate that noise shift is widespread in modern diffusion models and exhibits a systematic bias, leading to sub-optimal generation due to both out-of-distribution generalization and inaccurate denoising updates. To address this problem, we propose Noise Awareness Guidance (NAG), a simple yet effective correction method that explicitly steers sampling trajectories to remain consistent with the pre-defined noise schedule. We further introduce a classifier-free variant of NAG, which jointly trains a noise-conditional and a noise-unconditional model via noise-condition dropout, thereby eliminating the need for external classifiers. Extensive experiments, including ImageNet generation and various supervised fine-tuning tasks, show that NAG consistently mitigates noise shift and substantially improves the generation quality of mainstream diffusion models.