Video-Infinity : Génération distribuée de vidéos longues

Video-Infinity: Distributed Long Video Generation

June 24, 2024

Auteurs: Zhenxiong Tan, Xingyi Yang, Songhua Liu, Xinchao Wang

cs.AI

Résumé

Les modèles de diffusion ont récemment obtenu des résultats remarquables en génération de vidéos. Malgré ces performances encourageantes, les vidéos générées sont généralement limitées à un petit nombre d'images, produisant des clips ne durant que quelques secondes. Les principaux défis pour produire des vidéos plus longues incluent les besoins substantiels en mémoire et le temps de traitement prolongé requis sur un seul GPU. Une solution simple consisterait à répartir la charge de travail sur plusieurs GPU, ce qui, cependant, entraîne deux problèmes : (1) garantir que tous les GPU communiquent efficacement pour partager les informations de timing et de contexte, et (2) modifier les modèles de diffusion vidéo existants, généralement entraînés sur de courtes séquences, pour créer des vidéos plus longues sans entraînement supplémentaire. Pour résoudre ces problèmes, nous présentons dans cet article Video-Infinity, un pipeline d'inférence distribué qui permet un traitement parallèle sur plusieurs GPU pour la génération de vidéos longues. Plus précisément, nous proposons deux mécanismes cohérents : le parallélisme de clips et l'attention à double portée. Le parallélisme de clips optimise la collecte et le partage des informations de contexte entre les GPU, minimisant ainsi les surcharges de communication, tandis que l'attention à double portée module l'auto-attention temporelle pour équilibrer efficacement les contextes locaux et globaux entre les appareils. Ensemble, ces deux mécanismes unissent leurs forces pour répartir la charge de travail et permettre la génération rapide de vidéos longues. Dans une configuration de 8 x Nvidia 6000 Ada GPU (48G), notre méthode génère des vidéos jusqu'à 2 300 images en environ 5 minutes, permettant une génération de vidéos longues à une vitesse 100 fois supérieure aux méthodes précédentes.

English

Diffusion models have recently achieved remarkable results for video generation. Despite the encouraging performances, the generated videos are typically constrained to a small number of frames, resulting in clips lasting merely a few seconds. The primary challenges in producing longer videos include the substantial memory requirements and the extended processing time required on a single GPU. A straightforward solution would be to split the workload across multiple GPUs, which, however, leads to two issues: (1) ensuring all GPUs communicate effectively to share timing and context information, and (2) modifying existing video diffusion models, which are usually trained on short sequences, to create longer videos without additional training. To tackle these, in this paper we introduce Video-Infinity, a distributed inference pipeline that enables parallel processing across multiple GPUs for long-form video generation. Specifically, we propose two coherent mechanisms: Clip parallelism and Dual-scope attention. Clip parallelism optimizes the gathering and sharing of context information across GPUs which minimizes communication overhead, while Dual-scope attention modulates the temporal self-attention to balance local and global contexts efficiently across the devices. Together, the two mechanisms join forces to distribute the workload and enable the fast generation of long videos. Under an 8 x Nvidia 6000 Ada GPU (48G) setup, our method generates videos up to 2,300 frames in approximately 5 minutes, enabling long video generation at a speed 100 times faster than the prior methods.