拡散モデルにおける露出バイアス低減のためのスペクトル事前分布

要旨

拡散モデルは、反復サンプリング中に誤差が蓄積する問題、一般に露出バイアスとして知られる現象に悩まされる。我々は、トレーニングと推論の間に系統的な周波数依存の不一致が存在することを明らかにする。これは周波数依存のSNR誤差として解釈できる。重要なことに、このミスマッチの方向性はモデルやタイムステップによって異なり、固定された補正ルールでは汎化できないことを示している。我々は、中間予測のパワースペクトルを事前に計算された事前分布に合わせる軽量なガイダンスベースの手法「スペクトルアライメント（SPA）」を提案する。本手法は2段階で構成される：(1) トレーニングデータからパラメトリックなスペクトルモデルをオフラインでフィッティングする段階、(2) 効率的なFFTベースの勾配計算による推論時のガイダンス段階である。SPAは計算オーバーヘッドが最小限（3～4%）であり、分類器不要ガイダンス（CFG）と相補的な関係にある。我々は、ピクセル空間モデル（DDPM、ADM）から潜在拡散モデル（SD2.0、SDXL）、フローマッチングモデル（SD3.5、FLUX）に至るまで、多様なアーキテクチャで一貫した改善を実証する。実装は https://github.com/SonyResearch/SPA で公開している。

English

Diffusion models typically suffer from error accumulation during iterative sampling, commonly referred to as exposure bias. We reveal systematic frequency-dependent discrepancies between training and inference, which can be interpreted as frequency-dependent SNR error. Crucially, the direction of this mismatch varies across models and timesteps, indicating that fixed correction rules do not generalize. We propose Spectral Alignment (SPA), a lightweight, guidance-based method that calibrates the power spectrum of intermediate predictions to a pre-computed prior. Our approach consists of two stages: (1) offline fitting of a parametric spectrum model from training data, and (2) inference-time guidance via efficient FFT-based gradient computation. SPA introduces minimal computational overhead (3-4\%) and is complementary to Classifier-Free Guidance (CFG). We demonstrate consistent improvements across diverse architectures, from pixel-space models (DDPM, ADM) to latent diffusion models (SD2.0, SDXL) and flow-matching models (SD3.5, FLUX). Our implementation is available at https://github.com/SonyResearch/SPA.