Efficient-vDiT : Transformateurs de Diffusion Vidéo Efficaces Avec Attention par Tuile

Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile

February 10, 2025

Auteurs: Hangliang Ding, Dacheng Li, Runlong Su, Peiyuan Zhang, Zhijie Deng, Ion Stoica, Hao Zhang

cs.AI

Résumé

Malgré la promesse de synthétiser des vidéos haute fidélité, les Transformateurs de Diffusion (DiTs) avec attention complète en 3D souffrent d'une inférence coûteuse en raison de la complexité du calcul de l'attention et des nombreuses étapes d'échantillonnage. Par exemple, le modèle Open-Sora-Plan populaire prend plus de 9 minutes pour générer une seule vidéo de 29 images. Ce document aborde le problème d'inefficacité sous deux aspects : 1) Élaguer l'attention complète en 3D en se basant sur la redondance des données vidéo ; Nous identifions un motif répétitif de style tuile prédominant dans les cartes d'attention en 3D pour les données vidéo, et préconisons une nouvelle famille d'attention 3D clairsemée qui présente une complexité linéaire par rapport au nombre d'images vidéo. 2) Réduire le processus d'échantillonnage en adoptant une distillation de cohérence multi-étapes existante ; Nous divisons la trajectoire d'échantillonnage entière en plusieurs segments et effectuons une distillation de cohérence au sein de chacun pour activer des capacités de génération en quelques étapes. Nous concevons en outre un pipeline d'entraînement en trois étapes pour combiner l'attention à faible complexité et les capacités de génération en quelques étapes. Notamment, avec 0,1 % de données de pré-entraînement, nous transformons le modèle Open-Sora-Plan-1.2 en un modèle efficace qui est 7,4x -7,8x plus rapide pour la génération de vidéos de 29 et 93 images en 720p avec un compromis de performance marginal dans VBench. De plus, nous démontrons que notre approche est adaptable à l'inférence distribuée, atteignant une accélération supplémentaire de 3,91x lorsqu'elle est exécutée sur 4 GPU avec un parallélisme de séquence.

English

Despite the promise of synthesizing high-fidelity videos, Diffusion Transformers (DiTs) with 3D full attention suffer from expensive inference due to the complexity of attention computation and numerous sampling steps. For example, the popular Open-Sora-Plan model consumes more than 9 minutes for generating a single video of 29 frames. This paper addresses the inefficiency issue from two aspects: 1) Prune the 3D full attention based on the redundancy within video data; We identify a prevalent tile-style repetitive pattern in the 3D attention maps for video data, and advocate a new family of sparse 3D attention that holds a linear complexity w.r.t. the number of video frames. 2) Shorten the sampling process by adopting existing multi-step consistency distillation; We split the entire sampling trajectory into several segments and perform consistency distillation within each one to activate few-step generation capacities. We further devise a three-stage training pipeline to conjoin the low-complexity attention and few-step generation capacities. Notably, with 0.1% pretraining data, we turn the Open-Sora-Plan-1.2 model into an efficient one that is 7.4x -7.8x faster for 29 and 93 frames 720p video generation with a marginal performance trade-off in VBench. In addition, we demonstrate that our approach is amenable to distributed inference, achieving an additional 3.91x speedup when running on 4 GPUs with sequence parallelism.