Video-Infinity: Verteilte Langvideoerstellung

Video-Infinity: Distributed Long Video Generation

June 24, 2024

Autoren: Zhenxiong Tan, Xingyi Yang, Songhua Liu, Xinchao Wang

cs.AI

Zusammenfassung

Diffusionsmodelle haben kürzlich bemerkenswerte Ergebnisse bei der Videogenerierung erzielt. Trotz der vielversprechenden Leistungen sind die generierten Videos in der Regel auf eine geringe Anzahl von Frames beschränkt, was zu Clips führt, die nur wenige Sekunden dauern. Die Hauptprobleme bei der Erstellung längerer Videos sind der erhebliche Speicherbedarf und die verlängerte Verarbeitungszeit, die auf einer einzelnen GPU erforderlich ist. Eine einfache Lösung wäre die Aufteilung der Arbeitslast auf mehrere GPUs, was jedoch zu zwei Problemen führt: (1) die Gewährleistung einer effektiven Kommunikation aller GPUs zur gemeinsamen Nutzung von Zeit- und Kontextinformationen und (2) die Anpassung bestehender Videodiffusionsmodelle, die normalerweise auf kurzen Sequenzen trainiert sind, um längere Videos ohne zusätzliches Training zu erstellen. Um diese Herausforderungen anzugehen, stellen wir in diesem Papier Video-Infinity vor, eine verteilte Inferenzpipeline, die parallele Verarbeitung über mehrere GPUs für die Generierung von Langformvideos ermöglicht. Konkret schlagen wir zwei zusammenhängende Mechanismen vor: Clip-Parallelismus und Dual-Scope-Aufmerksamkeit. Der Clip-Parallelismus optimiert das Sammeln und Teilen von Kontextinformationen über GPUs hinweg, was den Kommunikationsaufwand minimiert, während die Dual-Scope-Aufmerksamkeit die zeitliche Selbst-Aufmerksamkeit moduliert, um lokale und globale Kontexte effizient über die Geräte hinweg auszubalancieren. Zusammen arbeiten die beiden Mechanismen zusammen, um die Arbeitslast zu verteilen und die schnelle Generierung langer Videos zu ermöglichen. Unter einer Einrichtung mit 8 x Nvidia 6000 Ada GPUs (48G) generiert unsere Methode Videos mit bis zu 2.300 Frames in etwa 5 Minuten und ermöglicht so die Generierung langer Videos mit einer Geschwindigkeit, die 100-mal schneller ist als bei früheren Methoden.

English

Diffusion models have recently achieved remarkable results for video generation. Despite the encouraging performances, the generated videos are typically constrained to a small number of frames, resulting in clips lasting merely a few seconds. The primary challenges in producing longer videos include the substantial memory requirements and the extended processing time required on a single GPU. A straightforward solution would be to split the workload across multiple GPUs, which, however, leads to two issues: (1) ensuring all GPUs communicate effectively to share timing and context information, and (2) modifying existing video diffusion models, which are usually trained on short sequences, to create longer videos without additional training. To tackle these, in this paper we introduce Video-Infinity, a distributed inference pipeline that enables parallel processing across multiple GPUs for long-form video generation. Specifically, we propose two coherent mechanisms: Clip parallelism and Dual-scope attention. Clip parallelism optimizes the gathering and sharing of context information across GPUs which minimizes communication overhead, while Dual-scope attention modulates the temporal self-attention to balance local and global contexts efficiently across the devices. Together, the two mechanisms join forces to distribute the workload and enable the fast generation of long videos. Under an 8 x Nvidia 6000 Ada GPU (48G) setup, our method generates videos up to 2,300 frames in approximately 5 minutes, enabling long video generation at a speed 100 times faster than the prior methods.