拡散トランスフォーマーのための領域適応型サンプリング

Region-Adaptive Sampling for Diffusion Transformers

February 14, 2025

著者: Ziming Liu, Yifan Yang, Chengruidong Zhang, Yiqi Zhang, Lili Qiu, Yang You, Yuqing Yang

cs.AI

要旨

拡散モデル（DMs）は、多様な領域における生成タスクの主要な選択肢となっています。しかし、複数の順次的なフォワードパスに依存するため、リアルタイム性能が大幅に制限されています。これまでの高速化手法は、主にサンプリングステップ数の削減や中間結果の再利用に焦点を当てており、畳み込みU-Net構造の制約により、画像内の空間領域間の変動を活用することができませんでした。拡散トランスフォーマー（DiTs）のトークン数を柔軟に扱う能力を活用し、我々はRASという新しい、トレーニング不要のサンプリング戦略を提案します。RASは、DiTモデルの焦点に基づいて、画像内の領域に異なるサンプリング比率を動的に割り当てます。我々の重要な観察は、各サンプリングステップにおいて、モデルが意味的に重要な領域に集中し、これらの焦点領域が連続するステップ間で強い連続性を示すことです。この洞察を活用し、RASは現在焦点が当たっている領域のみを更新し、他の領域は前のステップのキャッシュされたノイズを使用して更新します。モデルの焦点は、観察された時間的一貫性を利用して、前のステップの出力に基づいて決定されます。我々はRASをStable Diffusion 3とLumina-Next-T2Iで評価し、それぞれ最大2.36倍と2.51倍の高速化を達成し、生成品質の低下を最小限に抑えました。さらに、ユーザー調査により、RASが人間の評価において同等の品質を提供しつつ、1.6倍の高速化を実現することが明らかになりました。我々のアプローチは、より効率的な拡散トランスフォーマーに向けた重要な一歩であり、リアルタイムアプリケーションへの可能性を高めます。

English

Diffusion models (DMs) have become the leading choice for generative tasks across diverse domains. However, their reliance on multiple sequential forward passes significantly limits real-time performance. Previous acceleration methods have primarily focused on reducing the number of sampling steps or reusing intermediate results, failing to leverage variations across spatial regions within the image due to the constraints of convolutional U-Net structures. By harnessing the flexibility of Diffusion Transformers (DiTs) in handling variable number of tokens, we introduce RAS, a novel, training-free sampling strategy that dynamically assigns different sampling ratios to regions within an image based on the focus of the DiT model. Our key observation is that during each sampling step, the model concentrates on semantically meaningful regions, and these areas of focus exhibit strong continuity across consecutive steps. Leveraging this insight, RAS updates only the regions currently in focus, while other regions are updated using cached noise from the previous step. The model's focus is determined based on the output from the preceding step, capitalizing on the temporal consistency we observed. We evaluate RAS on Stable Diffusion 3 and Lumina-Next-T2I, achieving speedups up to 2.36x and 2.51x, respectively, with minimal degradation in generation quality. Additionally, a user study reveals that RAS delivers comparable qualities under human evaluation while achieving a 1.6x speedup. Our approach makes a significant step towards more efficient diffusion transformers, enhancing their potential for real-time applications.