확산 모델의 노출 편향 감소를 위한 스펙트럼 사전

초록

확산 모델은 일반적으로 반복 샘플링 과정에서 오류가 누적되는 현상, 즉 노출 편향(exposure bias)을 겪는다. 본 연구는 훈련과 추론 간에 체계적인 주파수 의존적 불일치가 존재함을 밝혀내며, 이를 주파수 의존적 SNR 오류로 해석할 수 있음을 보인다. 결정적으로, 이러한 불일치의 방향은 모델과 시간 단계(timestep)에 따라 달라지며, 이는 고정된 보정 규칙이 일반화되지 않음을 시사한다. 본 연구는 가벼운 가이드 기반 방법인 스펙트럼 정렬(Spectral Alignment, SPA)을 제안한다. SPA는 중간 예측값의 전력 스펙트럼을 사전 계산된 사전 분포(prior)에 맞게 보정한다. 제안하는 접근법은 두 단계로 구성된다: (1) 훈련 데이터로부터 매개변수적 스펙트럼 모델을 오프라인에서 피팅하고, (2) 효율적인 FFT 기반 그래디언트 계산을 통해 추론 시 가이드를 수행한다. SPA는 최소한의 계산 오버헤드(3-4%)만을 추가하며, 분류기 없는 가이드(Classifier-Free Guidance, CFG)와 상호 보완적이다. 본 연구는 픽셀 공간 모델(DDPM, ADM)에서 잠재 확산 모델(SD2.0, SDXL), 플로우 매칭 모델(SD3.5, FLUX)에 이르기까지 다양한 아키텍처에서 일관된 성능 향상을 입증한다. 구현 코드는 https://github.com/SonyResearch/SPA에서 확인할 수 있다.

English

Diffusion models typically suffer from error accumulation during iterative sampling, commonly referred to as exposure bias. We reveal systematic frequency-dependent discrepancies between training and inference, which can be interpreted as frequency-dependent SNR error. Crucially, the direction of this mismatch varies across models and timesteps, indicating that fixed correction rules do not generalize. We propose Spectral Alignment (SPA), a lightweight, guidance-based method that calibrates the power spectrum of intermediate predictions to a pre-computed prior. Our approach consists of two stages: (1) offline fitting of a parametric spectrum model from training data, and (2) inference-time guidance via efficient FFT-based gradient computation. SPA introduces minimal computational overhead (3-4\%) and is complementary to Classifier-Free Guidance (CFG). We demonstrate consistent improvements across diverse architectures, from pixel-space models (DDPM, ADM) to latent diffusion models (SD2.0, SDXL) and flow-matching models (SD3.5, FLUX). Our implementation is available at https://github.com/SonyResearch/SPA.