TurboDiffusion: 비디오 확산 모델의 100-200배 가속화

초록

우리는 비디오 품질을 유지하면서 엔드투엔드 확산 생성 과정을 100-200배 가속화할 수 있는 비디오 생성 가속 프레임워크인 TurboDiffusion을 소개한다. TurboDiffusion은 주로 다음과 같은 구성 요소를 통해 가속화를 달성한다: (1) 어텐션 가속: TurboDiffusion은 저비트 SageAttention과 학습 가능한 Sparse-Linear Attention(SLA)을 사용하여 어텐션 계산 속도를 높인다. (2) 스텝 증류: TurboDiffusion은 효율적인 스텝 증류를 위해 rCM을 채택한다. (3) W8A8 양자화: TurboDiffusion은 선형 레이어 가속화 및 모델 압축을 위해 모델 매개변수와 활성화 값을 8비트로 양자화한다. 또한 TurboDiffusion은 여러 다른 엔지니어링 최적화 기법을 포함한다. Wan2.2-I2V-14B-720P, Wan2.1-T2V-1.3B-480P, Wan2.1-T2V-14B-720P, Wan2.1-T2V-14B-480P 모델을 대상으로 실험을 진행했다. 실험 결과, TurboDiffusion은 단일 RTX 5090 GPU에서도 동등한 비디오 품질을 유지하면서 비디오 생성 속도를 100-200배 향상시킴을 확인했다. 모델 체크포인트와 사용하기 쉬운 코드를 포함한 GitHub 저장소는 https://github.com/thu-ml/TurboDiffusion에서 이용할 수 있다.

English

We introduce TurboDiffusion, a video generation acceleration framework that can speed up end-to-end diffusion generation by 100-200x while maintaining video quality. TurboDiffusion mainly relies on several components for acceleration: (1) Attention acceleration: TurboDiffusion uses low-bit SageAttention and trainable Sparse-Linear Attention (SLA) to speed up attention computation. (2) Step distillation: TurboDiffusion adopts rCM for efficient step distillation. (3) W8A8 quantization: TurboDiffusion quantizes model parameters and activations to 8 bits to accelerate linear layers and compress the model. In addition, TurboDiffusion incorporates several other engineering optimizations. We conduct experiments on the Wan2.2-I2V-14B-720P, Wan2.1-T2V-1.3B-480P, Wan2.1-T2V-14B-720P, and Wan2.1-T2V-14B-480P models. Experimental results show that TurboDiffusion achieves 100-200x speedup for video generation even on a single RTX 5090 GPU, while maintaining comparable video quality. The GitHub repository, which includes model checkpoints and easy-to-use code, is available at https://github.com/thu-ml/TurboDiffusion.

TurboDiffusion: 비디오 확산 모델의 100-200배 가속화

TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times

초록

Support