Mostrar la señal, ocultar el ruido: Forzamiento espectral para difusión en espacio de píxeles

Resumen

Los modelos de difusión en el espacio de píxeles se entrenan con imágenes ruidosas de ancho de banda completo, pero la señal útil disponible para el denoiser depende fuertemente de la frecuencia. Bajo la difusión de flujo rectificado y los espectros de ley de potencia de imágenes naturales, el contorno de datos frente a ruido por banda k^{*}(t) = (1-t)^{-2/α} separa una región de baja frecuencia portadora de señal de una región de alta frecuencia dominada por el ruido en cada instante t. Demostramos que esta estructura implícita de lo grueso a lo fino no es meramente descriptiva: induce un problema de asignación de capacidad. Un denoiser estándar en el espacio de píxeles debe descubrir internamente el límite del ancho de banda en movimiento y puede dedicar cómputo a regiones de frecuencia-tiempo donde la predicción óptima colapsa en líneas base deterministas en lugar de modelar la distribución de los datos. Para hacer explícito este límite, introducimos el Forzamiento Espectral (Spectral Forcing), un operador de paso bajo de DCT 2D condicionado al tiempo, libre de parámetros, que se aplica a la entrada ruidosa antes del incrustador de parches. Su frecuencia de corte se expande monótonamente con el tiempo de difusión y se convierte en la identidad en el punto final de los datos. Mediante experimentos sintéticos controlados, identificamos el régimen en el que el operador es beneficioso: tokenización de parches gruesos y datos cuyo contenido de alta frecuencia es predominantemente ruido en lugar de señal esencial. En ImageNet-256 con JiT-700M/32, el Forzamiento Espectral mejora consistentemente tanto el FID como el Inception Score a lo largo de diferentes épocas de entrenamiento, demostrando ganancias robustas durante todo el entrenamiento; con tokenización más fina, el forzamiento espectral sigue siendo competitivo. Además, insertamos el operador sin cambios en SenseNova-U1, un modelo unificado de texto a imagen, donde mejora DPG-Bench y GenEval, mostrando que el prior espectral del lado de la entrada se transfiere más allá de la generación condicionada por clase. Estos resultados sugieren una ruta hacia la difusión en el espacio de píxeles eficiente en capacidad, mostrando la señal y ocultando el ruido.

English

Pixel-space diffusion models are trained on full-bandwidth noisy images, yet the useful signal available to the denoiser is strongly frequency dependent. Under rectified-flow diffusion and natural-image power-law spectra, the per-band data-to-noise contour k^{*}(t) = (1-t)^{-2/α} separates a signal-bearing low-frequency region from a noise-dominated high-frequency region at each time t. We show that this implicit coarse-to-fine structure is not merely descriptive: it induces a capacity-allocation problem. A standard pixel-space denoiser must discover the moving bandwidth boundary internally and can spend computation on frequency-time regions where the optimal prediction collapses to deterministic baselines rather than data-distribution modeling. To make this boundary explicit, we introduce Spectral Forcing, a parameter-free, time-conditional 2D-DCT low-pass operator applied to the noisy input before the patch embedder. Its cutoff expands monotonically with the diffusion time and becomes the identity at the data endpoint. Through controlled synthetic experiments, we identify the regime in which the operator is beneficial: coarse patch tokenization and data whose high-frequency content is predominantly noise rather than essential signal. On ImageNet-256 with JiT-700M/32, Spectral Forcing consistently improves both FID and Inception Score across different training epochs, demonstrating robust gains throughout training; at finer tokenization, the spectral forcing is still competitive. We further insert the unchanged operator into SenseNova-U1, a unified text-to-image model, where it improves DPG-Bench and GenEval, showing that the input-side spectral prior transfers beyond class-conditional generation. These results suggest a route to capacity-efficient pixel-space diffusion by showing the signal and hiding the noise.