Génération de Vidéo en Temps Réel avec Diffusion d'Attention en Pyramide

Real-Time Video Generation with Pyramid Attention Broadcast

August 22, 2024

Auteurs: Xuanlei Zhao, Xiaolong Jin, Kai Wang, Yang You

cs.AI

Résumé

Nous présentons Pyramid Attention Broadcast (PAB), une approche en temps réel, de haute qualité et sans entraînement pour la génération de vidéos basée sur la diffusion itérative (DiT). Notre méthode repose sur l'observation selon laquelle la différence d'attention dans le processus de diffusion présente un schéma en forme de U, indiquant une redondance significative. Nous atténuons cela en diffusant les sorties d'attention aux étapes ultérieures de manière pyramidale. Nous appliquons différentes stratégies de diffusion à chaque attention en fonction de leur variance pour une efficacité optimale. Nous introduisons également une séquence de diffusion parallèle pour une inférence distribuée plus efficace. PAB démontre des résultats supérieurs à ceux des modèles de base, réalisant une génération en temps réel pour des vidéos allant jusqu'à 720p. Nous anticipons que notre méthode simple mais efficace servira de référence solide et facilitera les futures recherches et applications en matière de génération de vidéos.

English

We present Pyramid Attention Broadcast (PAB), a real-time, high quality and training-free approach for DiT-based video generation. Our method is founded on the observation that attention difference in the diffusion process exhibits a U-shaped pattern, indicating significant redundancy. We mitigate this by broadcasting attention outputs to subsequent steps in a pyramid style. It applies different broadcast strategies to each attention based on their variance for best efficiency. We further introduce broadcast sequence parallel for more efficient distributed inference. PAB demonstrates superior results across three models compared to baselines, achieving real-time generation for up to 720p videos. We anticipate that our simple yet effective method will serve as a robust baseline and facilitate future research and application for video generation.