빠른 이미지 및 비디오 생성을 위한 병렬 디코딩 증류

초록

비디오 확산 또는 플로우 모델에서의 생성은 느리고 반복적인 샘플링 과정으로 인해 계산 비용이 높다. 현재 최첨단(SOTA) 가속 방법들은 변분 점수 증류(VSD)와 적대적 손실에 크게 의존하여 확산 모델을 소수 단계 생성기로 증류한다. 고품질 비디오 생성을 달성하지만, 이러한 훈련 손실은 최적화하기 매우 어렵고 모드 붕괴를 겪어 비디오 다양성을 잃고 움직임이 부족해지는 단점이 있다. 본 논문에서는 확산 및 플로우 매칭 모델의 빠른 추론을 위한 단순화되고 확장 가능한 궤적 기반 증류 방법인 병렬 디코딩 증류(PDD)를 소개한다. 우리의 아키텍처와 훈련 절차는 사전 훈련된 모델과 호환되며 다양한 함수 평가 횟수(NFE)로 샘플링을 지원한다. PDD는 네트워크 평가당 여러 디노이징 단계를 예측하여 생성을 가속화한다. 개념적으로, JVP나 유한 차분 근사를 사용하여 도함수를 회귀하지 않고 평균 속도의 표현을 학습한다. 우리 방법은 LTX-2.3 텍스트-투-비디오/오디오, Wan 14B 텍스트-투-비디오, Qwen-Image 텍스트-투-이미지에서 4-8 NFE로 최첨단 성능을 달성한다. 또한 PDD는 생성된 비디오 다양성에서 상당한 개선을 보여준다.

English

Generation in video diffusion or flow models is computationally expensive due to the slow and iterative sampling process. Current state-of-the-art (SOTA) acceleration methods heavily rely on variational score distillation (VSD) and adversarial losses to distill diffusion models into few-step generators. Albeit achieving high-quality video generation, these training losses are notoriously hard to optimize and suffer from mode collapse, leading to loss of video diversity and lack of motion. In this paper, we introduce Parallel Decoding Distillation (PDD), a simplified and scalable trajectory-based distillation method for fast inference of diffusion and flow matching models. Our architecture and training procedure are compatible with any pre-trained model and support sampling with a varying number of function evaluations (NFE). PDD accelerates generation by predicting multiple denoising steps per network evaluation. Conceptually, it learns a representation of the mean velocity without regressing its derivative using JVPs or finite-difference approximations. Our method achieves SOTA performance with 4-8 NFE on LTX-2.3 Text-to-Video/Audio, Wan 14B Text-to-Video, and Qwen-Image Text-to-Image. Moreover, PDD presents a significant improvement in generated video diversity.