Mostre o Sinal, Esconda o Ruído: Forçamento Espectral para Difusão no Espaço de Pixels

Resumo

Modelos de difusão no espaço de pixels são treinados em imagens ruidosas de banda larga, mas o sinal útil disponível ao removedor de ruído é fortemente dependente da frequência. Sob difusão de fluxo retificado e espectros de lei de potência de imagens naturais, o contorno de dados-para-ruído por banda k^{*}(t) = (1-t)^{-2/α} separa uma região de baixa frequência portadora de sinal de uma região de alta frequência dominada por ruído a cada instante t. Mostramos que essa estrutura implícita de grosseiro para fino não é meramente descritiva: ela induz um problema de alocação de capacidade. Um removedor de ruído padrão no espaço de pixels deve descobrir internamente a fronteira móvel da largura de banda e pode gastar computação em regiões de frequência-tempo onde a predição ótima colapsa em linhas de base determinísticas, em vez de modelar a distribuição dos dados. Para tornar essa fronteira explícita, introduzimos o Forçamento Espectral, um operador passa-baixa 2D-DCT condicional ao tempo, livre de parâmetros, aplicado à entrada ruidosa antes do incorporador de patches. Seu corte se expande monotonicamente com o tempo de difusão e torna-se a identidade no ponto final dos dados. Por meio de experimentos sintéticos controlados, identificamos o regime em que o operador é benéfico: tokenização de patches grosseira e dados cujo conteúdo de alta frequência é predominantemente ruído, em vez de sinal essencial. No ImageNet-256 com JiT-700M/32, o Forçamento Espectral melhora consistentemente tanto o FID quanto o Inception Score em diferentes épocas de treinamento, demonstrando ganhos robustos ao longo do treinamento; em tokenização mais fina, o forçamento espectral ainda é competitivo. Inserimos ainda o operador inalterado no SenseNova-U1, um modelo unificado de texto para imagem, onde ele melhora o DPG-Bench e o GenEval, mostrando que o prior espectral do lado da entrada é transferível para além da geração condicionada à classe. Esses resultados sugerem um caminho para a difusão no espaço de pixels eficiente em capacidade, ao mostrar o sinal e ocultar o ruído.

English

Pixel-space diffusion models are trained on full-bandwidth noisy images, yet the useful signal available to the denoiser is strongly frequency dependent. Under rectified-flow diffusion and natural-image power-law spectra, the per-band data-to-noise contour k^{*}(t) = (1-t)^{-2/α} separates a signal-bearing low-frequency region from a noise-dominated high-frequency region at each time t. We show that this implicit coarse-to-fine structure is not merely descriptive: it induces a capacity-allocation problem. A standard pixel-space denoiser must discover the moving bandwidth boundary internally and can spend computation on frequency-time regions where the optimal prediction collapses to deterministic baselines rather than data-distribution modeling. To make this boundary explicit, we introduce Spectral Forcing, a parameter-free, time-conditional 2D-DCT low-pass operator applied to the noisy input before the patch embedder. Its cutoff expands monotonically with the diffusion time and becomes the identity at the data endpoint. Through controlled synthetic experiments, we identify the regime in which the operator is beneficial: coarse patch tokenization and data whose high-frequency content is predominantly noise rather than essential signal. On ImageNet-256 with JiT-700M/32, Spectral Forcing consistently improves both FID and Inception Score across different training epochs, demonstrating robust gains throughout training; at finer tokenization, the spectral forcing is still competitive. We further insert the unchanged operator into SenseNova-U1, a unified text-to-image model, where it improves DPG-Bench and GenEval, showing that the input-side spectral prior transfers beyond class-conditional generation. These results suggest a route to capacity-efficient pixel-space diffusion by showing the signal and hiding the noise.