Efficient-vDiT: Trasformatori di Diffusione Video Efficienti con Attenzione a Piastrella

Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile

February 10, 2025

Autori: Hangliang Ding, Dacheng Li, Runlong Su, Peiyuan Zhang, Zhijie Deng, Ion Stoica, Hao Zhang

cs.AI

Abstract

Nonostante la promessa di sintetizzare video ad alta fedeltà, i Transformer a Diffusione (DiTs) con attenzione tridimensionale completa soffrono di un'inferenza costosa a causa della complessità del calcolo dell'attenzione e dei numerosi passaggi di campionamento. Ad esempio, il modello Open-Sora-Plan popolare richiede più di 9 minuti per generare un singolo video di 29 fotogrammi. Questo articolo affronta il problema dell'inefficienza da due punti di vista: 1) Potare l'attenzione tridimensionale completa basata sulla ridondanza all'interno dei dati video; Identifichiamo un diffuso modello ripetitivo a mosaico nelle mappe di attenzione 3D per i dati video e sosteniamo una nuova famiglia di attenzione 3D sparso che ha una complessità lineare rispetto al numero di fotogrammi video. 2) Accorciare il processo di campionamento adottando la distillazione di coerenza multi-step esistente; Suddividiamo l'intera traiettoria di campionamento in diversi segmenti e eseguiamo la distillazione di coerenza all'interno di ciascuno per attivare capacità di generazione a pochi passaggi. Progettiamo inoltre un pipeline di addestramento a tre fasi per unire l'attenzione a bassa complessità e le capacità di generazione a pochi passaggi. In particolare, con lo 0,1% dei dati di preaddestramento, trasformiamo il modello Open-Sora-Plan-1.2 in un modello efficiente che è 7,4x -7,8x più veloce per la generazione di video 720p di 29 e 93 fotogrammi con un margine di compromesso delle prestazioni in VBench. Inoltre, dimostriamo che il nostro approccio è adattabile all'inferenza distribuita, ottenendo un ulteriore aumento di velocità del 3,91x quando eseguito su 4 GPU con parallelismo di sequenza.

English

Despite the promise of synthesizing high-fidelity videos, Diffusion Transformers (DiTs) with 3D full attention suffer from expensive inference due to the complexity of attention computation and numerous sampling steps. For example, the popular Open-Sora-Plan model consumes more than 9 minutes for generating a single video of 29 frames. This paper addresses the inefficiency issue from two aspects: 1) Prune the 3D full attention based on the redundancy within video data; We identify a prevalent tile-style repetitive pattern in the 3D attention maps for video data, and advocate a new family of sparse 3D attention that holds a linear complexity w.r.t. the number of video frames. 2) Shorten the sampling process by adopting existing multi-step consistency distillation; We split the entire sampling trajectory into several segments and perform consistency distillation within each one to activate few-step generation capacities. We further devise a three-stage training pipeline to conjoin the low-complexity attention and few-step generation capacities. Notably, with 0.1% pretraining data, we turn the Open-Sora-Plan-1.2 model into an efficient one that is 7.4x -7.8x faster for 29 and 93 frames 720p video generation with a marginal performance trade-off in VBench. In addition, we demonstrate that our approach is amenable to distributed inference, achieving an additional 3.91x speedup when running on 4 GPUs with sequence parallelism.