Video-Infinity: Gedistribueerde Lange Videogeneratie

Video-Infinity: Distributed Long Video Generation

June 24, 2024

Auteurs: Zhenxiong Tan, Xingyi Yang, Songhua Liu, Xinchao Wang

cs.AI

Samenvatting

Diffusiemodellen hebben recentelijk opmerkelijke resultaten behaald voor videogeneratie. Ondanks de bemoedigende prestaties zijn de gegenereerde video's doorgaans beperkt tot een klein aantal frames, wat resulteert in clips van slechts enkele seconden. De belangrijkste uitdagingen bij het produceren van langere video's zijn de aanzienlijke geheugenvereisten en de langere verwerkingstijd die nodig is op een enkele GPU. Een eenvoudige oplossing zou zijn om de werklast over meerdere GPU's te verdelen, wat echter twee problemen met zich meebrengt: (1) ervoor zorgen dat alle GPU's effectief communiceren om timing- en contextinformatie te delen, en (2) bestaande videodiffusiemodellen, die meestal getraind zijn op korte sequenties, aanpassen om langere video's te creëren zonder aanvullende training. Om deze problemen aan te pakken, introduceren we in dit artikel Video-Infinity, een gedistribueerd inferentiepijplijn die parallelle verwerking over meerdere GPU's mogelijk maakt voor de generatie van lange video's. Specifiek stellen we twee samenhangende mechanismen voor: Clip-parallelisme en Dual-scope aandacht. Clip-parallelisme optimaliseert het verzamelen en delen van contextinformatie over GPU's, wat de communicatie-overhead minimaliseert, terwijl Dual-scope aandacht de temporele zelf-attentie moduleert om lokale en globale contexten efficiënt over de apparaten te balanceren. Samen werken deze twee mechanismen samen om de werklast te verdelen en de snelle generatie van lange video's mogelijk te maken. Onder een opstelling van 8 x Nvidia 6000 Ada GPU's (48G) genereert onze methode video's van maximaal 2.300 frames in ongeveer 5 minuten, waardoor lange videogeneratie mogelijk wordt gemaakt met een snelheid die 100 keer hoger is dan bij eerdere methoden.

English

Diffusion models have recently achieved remarkable results for video generation. Despite the encouraging performances, the generated videos are typically constrained to a small number of frames, resulting in clips lasting merely a few seconds. The primary challenges in producing longer videos include the substantial memory requirements and the extended processing time required on a single GPU. A straightforward solution would be to split the workload across multiple GPUs, which, however, leads to two issues: (1) ensuring all GPUs communicate effectively to share timing and context information, and (2) modifying existing video diffusion models, which are usually trained on short sequences, to create longer videos without additional training. To tackle these, in this paper we introduce Video-Infinity, a distributed inference pipeline that enables parallel processing across multiple GPUs for long-form video generation. Specifically, we propose two coherent mechanisms: Clip parallelism and Dual-scope attention. Clip parallelism optimizes the gathering and sharing of context information across GPUs which minimizes communication overhead, while Dual-scope attention modulates the temporal self-attention to balance local and global contexts efficiently across the devices. Together, the two mechanisms join forces to distribute the workload and enable the fast generation of long videos. Under an 8 x Nvidia 6000 Ada GPU (48G) setup, our method generates videos up to 2,300 frames in approximately 5 minutes, enabling long video generation at a speed 100 times faster than the prior methods.