HybridStitch：拡散モデル加速のためのピクセル・タイムステップレベルモデル連結

HybridStitch: Pixel and Timestep Level Model Stitching for Diffusion Acceleration

March 8, 2026

著者: Desen Sun, Jason Hon, Jintao Zhang, Sihang Liu

cs.AI

要旨

拡散モデルは、テキストから画像（T2I）生成アプリケーションにおいて顕著な能力を実証している。高度な生成出力が得られる一方で、特に数百億のパラメータを含む大規模モデルでは、多大な計算オーバーヘッドが課題となっている。先行研究では、ノイズ除去ステップの一部をより小規模なモデルに置き換えても生成品質が維持されることが示されている。しかし、これらの手法は特定のタイムステップにおける計算量の削減にのみ焦点を当てており、1つのタイムステップ内での計算需要の差異を考慮していない。本研究では、生成を編集のように扱う新しいT2I生成パラダイムであるHybridStitchを提案する。具体的には、大規模モデルと小規模モデルの両方を統合的に組み込むハイブリッド段階を導入する。HybridStitchは画像全体を二つの領域に分割する：一方は比較的容易に描画可能な領域であり、小規模モデルへの早期移行を可能とし、他方はより複雑なため大規模モデルによる精緻化を必要とする領域である。HybridStitchは、小規模モデルを用いて大まかなスケッチを構築しつつ、大規模モデルを活用して複雑な領域を編集・洗練させる。評価の結果、HybridStitchはStable Diffusion 3において1.83倍の高速化を達成し、既存の全てのモデル混合手法を上回る速度性能を示した。

English

Diffusion models have demonstrated a remarkable ability in Text-to-Image (T2I) generation applications. Despite the advanced generation output, they suffer from heavy computation overhead, especially for large models that contain tens of billions of parameters. Prior work has illustrated that replacing part of the denoising steps with a smaller model still maintains the generation quality. However, these methods only focus on saving computation for some timesteps, ignoring the difference in compute demand within one timestep. In this work, we propose HybridStitch, a new T2I generation paradigm that treats generation like editing. Specifically, we introduce a hybrid stage that jointly incorporates both the large model and the small model. HybridStitch separates the entire image into two regions: one that is relatively easy to render, enabling an early transition to the smaller model, and another that is more complex and therefore requires refinement by the large model. HybridStitch employs the small model to construct a coarse sketch while exploiting the large model to edit and refine the complex regions. According to our evaluation, HybridStitch achieves 1.83times speedup on Stable Diffusion 3, which is faster than all existing mixture of model methods.