教師調整エンドツーエンド蒸留による高忠実度二段階画像生成

要旨

数ステップの拡散蒸留は4〜8ステップ生成において成熟しつつあるが、2ステップへのさらなる短縮は依然として困難である。本研究では、8ステップのZ-Image Turbo教師モデルから蒸留した高品質な2ステップ画像生成モデルZ-Image Turbo++を紹介する。本手法は、2ステップ生成における中心的な課題であるタスク難易度の上昇とモデル容量の制約に対し、この設定に特化した3つのシンプルかつ効果的な設計選択によって対処する。第一に、分布整合型敵対的学習を提案する。これは、GAN学習の実サンプルとして外部の実画像ではなく教師モデル生成画像を用いることで、より達成可能で情報量の多い敵対的目標を提供する。第二に、ステップ分離型パラメータ化を採用し、2つのノイズ除去ステップに独立したモデルパラメータを割り当てることで、それぞれの異なる容量要求に適合させる。第三に、反復的正則化を伴うエンドツーエンド学習を実行し、明示的なステップ1損失を通じて意味のある中間生成を保持しつつ、第1ステップが最終画質から勾配を受け取れるようにする。これらの設計により、定性・定量評価の両方において2ステップ生成と8ステップ生成の品質ギャップを大幅に縮小し、数ステップ生成における品質と効率のトレードオフ改善に向けた、注意深く調整された蒸留戦略の可能性を明らかにする。

English

Few-step diffusion distillation has become increasingly mature for 4-8-step generation, yet pushing further to 2 steps remains challenging. In this work, we introduce Z-Image Turbo++, a high-quality 2-step image generation model distilled from the 8-step Z-Image Turbo teacher. Our method addresses the central bottlenecks of increased task difficulty and limited model capacity in 2-step generation through three simple but effective design choices tailored to this regime. First, we propose Distribution-Aligned Adversarial Learning, which uses teacher-generated images rather than external real images as real samples for GAN training, providing a more attainable and informative adversarial target. Second, we adopt Step-Decoupled Parameterization, assigning independent model parameters to the two denoising steps to better match their distinct capacity demands. Third, we perform End-to-End Training with Iterative Regularization, allowing the first step to receive gradients from final image quality while preserving a meaningful intermediate generation through an explicit step-1 loss. Together, these designs substantially narrow the quality gap between 2-step and 8-step generation in both qualitative and quantitative evaluations, highlighting the potential of carefully tailored distillation strategies for improving the quality-efficiency trade-off in few-step generation.