条件付きガイダンススケジューリングに基づくハイブリッドデータ・パイプライン並列処理による拡散モデルの高速化

Accelerating Diffusion via Hybrid Data-Pipeline Parallelism Based on Conditional Guidance Scheduling

February 25, 2026

著者: Euisoo Jung, Byunghyun Kim, Hyunjin Kim, Seonghye Cho, Jae-Gil Lee

cs.AI

要旨

拡散モデルは高精細な画像・動画・音声生成において顕著な進歩を遂げているが、推論時の計算コストは依然として高い。既存の分散並列化に基づく拡散加速手法は、目立つ生成アーティファクトが生じやすく、GPU数の増加に比例した大幅な加速を達成できていない。そこで本研究では、条件付き拡散モデルにおいて、生成レイテンシを削減し高品質な生成を実現するため、新規のデータ並列戦略である条件ベース分割と、最適なパイプラインスケジューリング手法である適応的並列化切替を組み合わせたハイブリッド並列化フレームワークを提案する。核心となる考え方は、(i) 条件付き・無条件付きのノイズ除去経路を新たなデータ分割の視点として活用すること、(ii) これら2経路間のノイズ除去の差異に応じて最適なパイプライン並列化を適応的に有効化することである。提案フレームワークは、2台のNVIDIA RTX 3090 GPUを用いて、SDXLとSD3においてそれぞれ2.31倍、2.07倍のレイテンシ削減を達成しつつ画像品質を維持した。この結果は、U-Netベースの拡散モデルとDiTベースのフローマッチング構造の双方において、本アプローチの汎用性を確認するものである。さらに高解像度合成設定下での加速性能においても、既存手法を上回る。コードはhttps://github.com/kaist-dmlab/Hybridiff で公開されている。

English

Diffusion models have achieved remarkable progress in high-fidelity image, video, and audio generation, yet inference remains computationally expensive. Nevertheless, current diffusion acceleration methods based on distributed parallelism suffer from noticeable generation artifacts and fail to achieve substantial acceleration proportional to the number of GPUs. Therefore, we propose a hybrid parallelism framework that combines a novel data parallel strategy, condition-based partitioning, with an optimal pipeline scheduling method, adaptive parallelism switching, to reduce generation latency and achieve high generation quality in conditional diffusion models. The key ideas are to (i) leverage the conditional and unconditional denoising paths as a new data-partitioning perspective and (ii) adaptively enable optimal pipeline parallelism according to the denoising discrepancy between these two paths. Our framework achieves 2.31times and 2.07times latency reductions on SDXL and SD3, respectively, using two NVIDIA RTX~3090 GPUs, while preserving image quality. This result confirms the generality of our approach across U-Net-based diffusion models and DiT-based flow-matching architectures. Our approach also outperforms existing methods in acceleration under high-resolution synthesis settings. Code is available at https://github.com/kaist-dmlab/Hybridiff.