Real-time videogeneratie met piramidale aandachtuitzending

Real-Time Video Generation with Pyramid Attention Broadcast

August 22, 2024

Auteurs: Xuanlei Zhao, Xiaolong Jin, Kai Wang, Yang You

cs.AI

Samenvatting

We presenteren Pyramid Attention Broadcast (PAB), een real-time, hoogwaardige en trainingsvrije aanpak voor DiT-gebaseerde videogeneratie. Onze methode is gebaseerd op de observatie dat het verschil in aandacht tijdens het diffusieproces een U-vormig patroon vertoont, wat duidt op aanzienlijke redundantie. We verminderen dit door aandachtuitvoeren in een piramidestijl naar volgende stappen te broadcasten. Het past verschillende broadcaststrategieën toe voor elke aandacht, gebaseerd op hun variantie voor optimale efficiëntie. We introduceren verder broadcast sequence parallel voor efficiëntere gedistribueerde inferentie. PAB toont superieure resultaten over drie modellen in vergelijking met baseline-methoden, waarbij real-time generatie voor video's tot 720p wordt bereikt. We verwachten dat onze eenvoudige maar effectieve methode zal dienen als een robuuste baseline en toekomstig onderzoek en toepassingen voor videogeneratie zal faciliteren.

English

We present Pyramid Attention Broadcast (PAB), a real-time, high quality and training-free approach for DiT-based video generation. Our method is founded on the observation that attention difference in the diffusion process exhibits a U-shaped pattern, indicating significant redundancy. We mitigate this by broadcasting attention outputs to subsequent steps in a pyramid style. It applies different broadcast strategies to each attention based on their variance for best efficiency. We further introduce broadcast sequence parallel for more efficient distributed inference. PAB demonstrates superior results across three models compared to baselines, achieving real-time generation for up to 720p videos. We anticipate that our simple yet effective method will serve as a robust baseline and facilitate future research and application for video generation.