Zeige das Signal, verbirg das Rauschen: Spektrales Forcing für Pixelraum-Diffusion

Zusammenfassung

Pixelraum-Diffusionsmodelle werden auf vollbandbreiten verrauschten Bildern trainiert, obwohl das für den Denoiser nutzbare Signal stark frequenzabhängig ist. Unter rectified-flow Diffusion und natürlichen Potenzgesetz-Spektren trennt die bandbezogene Daten-zu-Rauschen-Kontur \( k^{*}(t) = (1-t)^{-2/\alpha} \) zu jedem Zeitpunkt \( t \) einen signalhaltigen Niederfrequenzbereich von einem rauschdominierten Hochfrequenzbereich. Wir zeigen, dass diese implizite Grob-zu-Fein-Struktur nicht nur deskriptiv ist: Sie führt zu einem Kapazitätszuweisungsproblem. Ein Standard-Pixelraum-Denoiser muss die sich verschiebende Bandbreitengrenze intern erkennen und kann Rechenleistung auf Frequenz-Zeit-Regionen verwenden, in denen die optimale Vorhersage auf deterministische Basiswerte reduziert wird, anstatt auf die Modellierung der Datenverteilung. Um diese Grenze explizit zu machen, führen wir Spectral Forcing ein, einen parameterfreien, zeitabhängigen 2D-DCT-Tiefpassoperator, der vor dem Patch-Embedder auf die verrauschte Eingabe angewendet wird. Seine Grenzfrequenz steigt monoton mit der Diffusionszeit und wird am Datenendpunkt zur Identität. Durch kontrollierte synthetische Experimente identifizieren wir das Regime, in dem der Operator vorteilhaft ist: grobe Patch-Tokenisierung und Daten, deren Hochfrequenzgehalt überwiegend aus Rauschen und nicht aus wesentlichem Signal besteht. Auf ImageNet-256 mit JiT-700M/32 verbessert Spectral Forcing sowohl FID als auch Inception Score konsistent über verschiedene Trainingsepochen hinweg und zeigt robuste Gewinne während des gesamten Trainings; bei feinerer Tokenisierung bleibt Spectral Forcing weiterhin konkurrenzfähig. Darüber hinaus setzen wir den unveränderten Operator in SenseNova-U1 ein, einem vereinheitlichten Text-zu-Bild-Modell, wo er DPG-Bench und GenEval verbessert, was zeigt, dass der eingangsseitige spektrale Prior über die klassenbedingte Generierung hinaus übertragbar ist. Diese Ergebnisse deuten auf einen Weg zu kapazitätseffizienter Pixelraum-Diffusion hin, indem sie das Signal zeigen und das Rauschen verbergen.

English

Pixel-space diffusion models are trained on full-bandwidth noisy images, yet the useful signal available to the denoiser is strongly frequency dependent. Under rectified-flow diffusion and natural-image power-law spectra, the per-band data-to-noise contour k^{*}(t) = (1-t)^{-2/α} separates a signal-bearing low-frequency region from a noise-dominated high-frequency region at each time t. We show that this implicit coarse-to-fine structure is not merely descriptive: it induces a capacity-allocation problem. A standard pixel-space denoiser must discover the moving bandwidth boundary internally and can spend computation on frequency-time regions where the optimal prediction collapses to deterministic baselines rather than data-distribution modeling. To make this boundary explicit, we introduce Spectral Forcing, a parameter-free, time-conditional 2D-DCT low-pass operator applied to the noisy input before the patch embedder. Its cutoff expands monotonically with the diffusion time and becomes the identity at the data endpoint. Through controlled synthetic experiments, we identify the regime in which the operator is beneficial: coarse patch tokenization and data whose high-frequency content is predominantly noise rather than essential signal. On ImageNet-256 with JiT-700M/32, Spectral Forcing consistently improves both FID and Inception Score across different training epochs, demonstrating robust gains throughout training; at finer tokenization, the spectral forcing is still competitive. We further insert the unchanged operator into SenseNova-U1, a unified text-to-image model, where it improves DPG-Bench and GenEval, showing that the input-side spectral prior transfers beyond class-conditional generation. These results suggest a route to capacity-efficient pixel-space diffusion by showing the signal and hiding the noise.