Montrer le signal, cacher le bruit : Forçage spectral pour la diffusion dans l'espace des pixels

Résumé

Les modèles de diffusion dans l'espace des pixels sont entraînés sur des images bruitées à pleine bande passante, mais le signal utile accessible au débruitant dépend fortement de la fréquence. Dans le cadre de la diffusion à flux rectifié et des spectres en loi de puissance des images naturelles, le contour données-bruit par bande \( k^{*}(t) = (1-t)^{-2/\alpha} \) sépare, à chaque instant \( t \), une région basse fréquence porteuse de signal d'une région haute fréquence dominée par le bruit. Nous montrons que cette structure implicite du grossier au fin n'est pas simplement descriptive : elle engendre un problème d'allocation de capacité. Un débruitant standard opérant dans l'espace des pixels doit découvrir intérieurement la limite de bande passante mobile et peut consacrer du calcul à des régions fréquence-temps où la prédiction optimale se réduit à des lignes de base déterministes plutôt qu'à la modélisation de la distribution des données. Pour rendre cette limite explicite, nous introduisons le Forçage Spectral, un opérateur passe-bas 2D-DCT conditionné par le temps, sans paramètre, appliqué à l'entrée bruitée avant l'intégrateur de patchs. Sa fréquence de coupure augmente de façon monotone avec le temps de diffusion et devient l'identité au point de données final. Grâce à des expériences synthétiques contrôlées, nous identifions le régime dans lequel l'opérateur est bénéfique : une tokenisation grossière des patchs et des données dont le contenu haute fréquence est principalement du bruit plutôt qu'un signal essentiel. Sur ImageNet-256 avec JiT-700M/32, le Forçage Spectral améliore systématiquement à la fois le FID et le Score Inception à différentes époques d'entraînement, montrant des gains robustes tout au long de l'apprentissage ; avec une tokenisation plus fine, le forçage spectral reste compétitif. Nous insérons en outre l'opérateur inchangé dans SenseNova-U1, un modèle unifié texte-vers-image, où il améliore les performances sur DPG-Bench et GenEval, démontrant que le prior spectral côté entrée se transfère au-delà de la génération conditionnée par classe. Ces résultats suggèrent une voie vers une diffusion dans l'espace des pixels efficace en capacité en révélant le signal et en masquant le bruit.

English

Pixel-space diffusion models are trained on full-bandwidth noisy images, yet the useful signal available to the denoiser is strongly frequency dependent. Under rectified-flow diffusion and natural-image power-law spectra, the per-band data-to-noise contour k^{*}(t) = (1-t)^{-2/α} separates a signal-bearing low-frequency region from a noise-dominated high-frequency region at each time t. We show that this implicit coarse-to-fine structure is not merely descriptive: it induces a capacity-allocation problem. A standard pixel-space denoiser must discover the moving bandwidth boundary internally and can spend computation on frequency-time regions where the optimal prediction collapses to deterministic baselines rather than data-distribution modeling. To make this boundary explicit, we introduce Spectral Forcing, a parameter-free, time-conditional 2D-DCT low-pass operator applied to the noisy input before the patch embedder. Its cutoff expands monotonically with the diffusion time and becomes the identity at the data endpoint. Through controlled synthetic experiments, we identify the regime in which the operator is beneficial: coarse patch tokenization and data whose high-frequency content is predominantly noise rather than essential signal. On ImageNet-256 with JiT-700M/32, Spectral Forcing consistently improves both FID and Inception Score across different training epochs, demonstrating robust gains throughout training; at finer tokenization, the spectral forcing is still competitive. We further insert the unchanged operator into SenseNova-U1, a unified text-to-image model, where it improves DPG-Bench and GenEval, showing that the input-side spectral prior transfers beyond class-conditional generation. These results suggest a route to capacity-efficient pixel-space diffusion by showing the signal and hiding the noise.