DeCo: エンドツーエンド画像生成のための周波数分離ピクセル拡散
DeCo: Frequency-Decoupled Pixel Diffusion for End-to-End Image Generation
November 24, 2025
著者: Zehong Ma, Longhui Wei, Shuai Wang, Shiliang Zhang, Qi Tian
cs.AI
要旨
ピクセル拡散は、画像をピクセル空間で直接エンドツーエンド生成することを目的としています。このアプローチは、二段階の潜在拡散におけるVAEの制限を回避し、より高いモデル容量を実現します。既存のピクセル拡散モデルは、高周波信号と低周波セマンティクスの両方を単一の拡散トランスフォーマー（DiT）内でモデル化するため、学習と推論が遅いという課題があります。より効率的なピクセル拡散パラダイムを追求するため、我々は周波数分離型ピクセル拡散フレームワークを提案します。高周波成分と低周波成分の生成を分離する直観に基づき、軽量なピクセルデコーダーを活用して、DiTからのセマンティックガイダンスを条件として高周波詳細を生成します。これにより、DiTは低周波セマンティクスのモデル化に特化することが可能になります。さらに、視覚的に重要な周波数を強調し、重要でない周波数を抑制する周波数認識フローマッチング損失を導入します。大規模な実験により、DeCoがピクセル拡散モデルの中で優れた性能を発揮し、ImageNetにおいてFID 1.62（256x256）および2.22（512x512）を達成し、潜在拡散手法との差を縮めることが示されました。さらに、事前学習されたテキスト画像生成モデルは、システムレベル比較においてGenEvalで0.86のリーディングスコアを達成しました。コードはhttps://github.com/Zehong-Ma/DeCo で公開されています。
English
Pixel diffusion aims to generate images directly in pixel space in an end-to-end fashion. This approach avoids the limitations of VAE in the two-stage latent diffusion, offering higher model capacity. Existing pixel diffusion models suffer from slow training and inference, as they usually model both high-frequency signals and low-frequency semantics within a single diffusion transformer (DiT). To pursue a more efficient pixel diffusion paradigm, we propose the frequency-DeCoupled pixel diffusion framework. With the intuition to decouple the generation of high and low frequency components, we leverage a lightweight pixel decoder to generate high-frequency details conditioned on semantic guidance from the DiT. This thus frees the DiT to specialize in modeling low-frequency semantics. In addition, we introduce a frequency-aware flow-matching loss that emphasizes visually salient frequencies while suppressing insignificant ones. Extensive experiments show that DeCo achieves superior performance among pixel diffusion models, attaining FID of 1.62 (256x256) and 2.22 (512x512) on ImageNet, closing the gap with latent diffusion methods. Furthermore, our pretrained text-to-image model achieves a leading overall score of 0.86 on GenEval in system-level comparison. Codes are publicly available at https://github.com/Zehong-Ma/DeCo.