Efficiënt-vDiT: Efficiënte Video Diffusie Transformers Met Aandachtstegels

Efficient-vDiT: Efficient Video Diffusion Transformers With Attention Tile

February 10, 2025

Auteurs: Hangliang Ding, Dacheng Li, Runlong Su, Peiyuan Zhang, Zhijie Deng, Ion Stoica, Hao Zhang

cs.AI

Samenvatting

Ondanks de belofte van het synthetiseren van video's met hoge nauwkeurigheid, kampen Diffusion Transformers (DiTs) met 3D volledige aandacht met dure inferentie vanwege de complexiteit van aandachtsberekening en talrijke bemonsteringsstappen. Bijvoorbeeld, het populaire Open-Sora-Plan model kost meer dan 9 minuten om een enkele video van 29 frames te genereren. Dit artikel behandelt het efficiëntieprobleem vanuit twee aspecten: 1) Snoei de 3D volledige aandacht op basis van de redundantie binnen videogegevens; We identificeren een veelvoorkomend tegelstijl repetitief patroon in de 3D aandachtskaarten voor videogegevens, en pleiten voor een nieuwe familie van schaarse 3D aandacht die een lineaire complexiteit heeft t.o.v. het aantal videoframes. 2) Verkort het bemonsteringsproces door het aannemen van bestaande meerstaps consistentie destillatie; We verdelen de gehele bemonsteringstraject in verschillende segmenten en voeren consistentie destillatie uit binnen elk segment om een bemonsteringscapaciteit met weinig stappen te activeren. We ontwerpen verder een driedelig trainingsproces om de lage-complexiteit aandacht en bemonsteringscapaciteiten met weinig stappen te combineren. Opmerkelijk is dat met 0.1% vooraf trainingsgegevens, we het Open-Sora-Plan-1.2 model efficiënter maken, wat 7.4x - 7.8x sneller is voor het genereren van 29 en 93 frames 720p video's met een marginaal prestatieverlies in VBench. Bovendien tonen we aan dat onze aanpak geschikt is voor gedistribueerde inferentie, waarbij een extra 3.91x versnelling wordt behaald bij gebruik van 4 GPU's met sequentiële paralleliteit.

English

Despite the promise of synthesizing high-fidelity videos, Diffusion Transformers (DiTs) with 3D full attention suffer from expensive inference due to the complexity of attention computation and numerous sampling steps. For example, the popular Open-Sora-Plan model consumes more than 9 minutes for generating a single video of 29 frames. This paper addresses the inefficiency issue from two aspects: 1) Prune the 3D full attention based on the redundancy within video data; We identify a prevalent tile-style repetitive pattern in the 3D attention maps for video data, and advocate a new family of sparse 3D attention that holds a linear complexity w.r.t. the number of video frames. 2) Shorten the sampling process by adopting existing multi-step consistency distillation; We split the entire sampling trajectory into several segments and perform consistency distillation within each one to activate few-step generation capacities. We further devise a three-stage training pipeline to conjoin the low-complexity attention and few-step generation capacities. Notably, with 0.1% pretraining data, we turn the Open-Sora-Plan-1.2 model into an efficient one that is 7.4x -7.8x faster for 29 and 93 frames 720p video generation with a marginal performance trade-off in VBench. In addition, we demonstrate that our approach is amenable to distributed inference, achieving an additional 3.91x speedup when running on 4 GPUs with sequence parallelism.