조건부 지도 스케줄링 기반 하이브리드 데이터-파이프라인 병렬화를 통한 확산 가속
Accelerating Diffusion via Hybrid Data-Pipeline Parallelism Based on Conditional Guidance Scheduling
February 25, 2026
저자: Euisoo Jung, Byunghyun Kim, Hyunjin Kim, Seonghye Cho, Jae-Gil Lee
cs.AI
초록
확산 모델은 고품질 이미지, 비디오, 오디오 생성에서 뛰어난 진전을 이루었으나, 추론 과정은 여전히 계산 비용이 많이 듭니다. 그럼에도 현재 분산 병렬화에 기반한 확산 가속 방법은 뚜렷한 생성 아티팩트를 보이며 GPU 수에 비례하는 실질적인 가속을 달성하지 못하고 있습니다. 따라서 본 연구에서는 조건부 확산 모델에서 생성 지연 시간을 줄이고 높은 생성 품질을 달성하기 위해, 새로운 데이터 병렬 전략인 조건 기반 분할과 최적의 파이프라인 스케줄링 방법인 적응형 병렬 전환을 결합한 하이브리드 병렬화 프레임워크를 제안합니다. 핵심 아이디어는 (i) 조건부 및 무조건부 노이즈 제거 경로를 새로운 데이터 분할 관점으로 활용하고, (ii) 두 경로 간 노이즈 제거 불일치에 따라 최적의 파이프라인 병렬화를 적응적으로 활성화하는 것입니다. 우리의 프레임워크는 두 개의 NVIDIA RTX 3090 GPU를 사용하여 SDXL과 SD3에서 각각 2.31배, 2.07배의 지연 시간 감소를 달성하면서 이미지 품질을 유지했습니다. 이 결과는 U-Net 기반 확산 모델과 DiT 기반 흐름 매칭 아키텍처 모두에서 우리 접근법의 일반성을 확인시켜 줍니다. 또한 우리의 접근법은 고해상도 합성 설정에서 기존 방법보다 우수한 가속 성능을 보입니다. 코드는 https://github.com/kaist-dmlab/Hybridiff에서 확인할 수 있습니다.
English
Diffusion models have achieved remarkable progress in high-fidelity image, video, and audio generation, yet inference remains computationally expensive. Nevertheless, current diffusion acceleration methods based on distributed parallelism suffer from noticeable generation artifacts and fail to achieve substantial acceleration proportional to the number of GPUs. Therefore, we propose a hybrid parallelism framework that combines a novel data parallel strategy, condition-based partitioning, with an optimal pipeline scheduling method, adaptive parallelism switching, to reduce generation latency and achieve high generation quality in conditional diffusion models. The key ideas are to (i) leverage the conditional and unconditional denoising paths as a new data-partitioning perspective and (ii) adaptively enable optimal pipeline parallelism according to the denoising discrepancy between these two paths. Our framework achieves 2.31times and 2.07times latency reductions on SDXL and SD3, respectively, using two NVIDIA RTX~3090 GPUs, while preserving image quality. This result confirms the generality of our approach across U-Net-based diffusion models and DiT-based flow-matching architectures. Our approach also outperforms existing methods in acceleration under high-resolution synthesis settings. Code is available at https://github.com/kaist-dmlab/Hybridiff.