Покажи сигнал, скрой шум: спектральное форсирование для диффузии в пространстве пикселей

Аннотация

Диффузионные модели в пиксельном пространстве обучаются на зашумленных изображениях с полной полосой пропускания, однако полезный сигнал, доступный шумоподавителю, сильно зависит от частоты. В условиях диффузии с выпрямленным потоком и степенных спектров естественных изображений контур отношения сигнал/шум на полосу \(k^{*}(t) = (1-t)^{-2/\alpha}\) разделяет в каждый момент времени \(t\) низкочастотную область, несущую сигнал, и высокочастотную область, где преобладает шум. Мы показываем, что эта неявная структура «от грубого к тонкому» не просто описательна: она порождает проблему распределения вычислительных ресурсов. Стандартный шумоподавитель в пиксельном пространстве должен самостоятельно обнаруживать движущуюся границу полосы пропускания и может тратить вычисления на частотно-временные области, где оптимальное предсказание сводится к детерминированным базовым линиям, а не к моделированию распределения данных. Чтобы сделать эту границу явной, мы вводим спектральное форсирование — непараметрический, зависящий от времени низкочастотный оператор 2D-DCT, применяемый к зашумленному входу перед встраиванием патчей. Его частота среза монотонно расширяется с увеличением времени диффузии и становится тождественным отображением в конечной точке данных. На контролируемых синтетических экспериментах мы выявляем режим, в котором оператор полезен: грубая токенизация патчей и данные, чье высокочастотное содержимое является преимущественно шумом, а не существенным сигналом. На ImageNet-256 с JiT-700M/32 спектральное форсирование последовательно улучшает как FID, так и Inception Score на разных этапах обучения, демонстрируя устойчивый выигрыш на протяжении всего обучения; при более тонкой токенизации спектральное форсирование остается конкурентоспособным. Мы также вставляем неизмененный оператор в SenseNova-U1 — единую модель генерации текста в изображение, где он улучшает показатели DPG-Bench и GenEval, что свидетельствует о переносе спектрального априорного знания на стороне входа за пределы класс-условной генерации. Эти результаты указывают на путь к эффективному по вычислительным ресурсам пиксельному пространству диффузии путем отображения сигнала и сокрытия шума.

English

Pixel-space diffusion models are trained on full-bandwidth noisy images, yet the useful signal available to the denoiser is strongly frequency dependent. Under rectified-flow diffusion and natural-image power-law spectra, the per-band data-to-noise contour k^{*}(t) = (1-t)^{-2/α} separates a signal-bearing low-frequency region from a noise-dominated high-frequency region at each time t. We show that this implicit coarse-to-fine structure is not merely descriptive: it induces a capacity-allocation problem. A standard pixel-space denoiser must discover the moving bandwidth boundary internally and can spend computation on frequency-time regions where the optimal prediction collapses to deterministic baselines rather than data-distribution modeling. To make this boundary explicit, we introduce Spectral Forcing, a parameter-free, time-conditional 2D-DCT low-pass operator applied to the noisy input before the patch embedder. Its cutoff expands monotonically with the diffusion time and becomes the identity at the data endpoint. Through controlled synthetic experiments, we identify the regime in which the operator is beneficial: coarse patch tokenization and data whose high-frequency content is predominantly noise rather than essential signal. On ImageNet-256 with JiT-700M/32, Spectral Forcing consistently improves both FID and Inception Score across different training epochs, demonstrating robust gains throughout training; at finer tokenization, the spectral forcing is still competitive. We further insert the unchanged operator into SenseNova-U1, a unified text-to-image model, where it improves DPG-Bench and GenEval, showing that the input-side spectral prior transfers beyond class-conditional generation. These results suggest a route to capacity-efficient pixel-space diffusion by showing the signal and hiding the noise.