Video-Infinity: Generazione Distribuita di Video Lunghi

Video-Infinity: Distributed Long Video Generation

June 24, 2024

Autori: Zhenxiong Tan, Xingyi Yang, Songhua Liu, Xinchao Wang

cs.AI

Abstract

I modelli di diffusione hanno recentemente ottenuto risultati notevoli nella generazione di video. Nonostante le prestazioni incoraggianti, i video generati sono tipicamente limitati a un numero ridotto di fotogrammi, risultando in clip della durata di pochi secondi. Le principali sfide nella produzione di video più lunghi includono i requisiti di memoria sostanziali e il tempo di elaborazione prolungato richiesto su una singola GPU. Una soluzione diretta sarebbe suddividere il carico di lavoro su più GPU, il che, tuttavia, porta a due problemi: (1) garantire che tutte le GPU comunichino efficacemente per condividere informazioni temporali e contestuali, e (2) modificare i modelli di diffusione video esistenti, che sono solitamente addestrati su sequenze brevi, per creare video più lunghi senza ulteriore addestramento. Per affrontare queste sfide, in questo articolo introduciamo Video-Infinity, una pipeline di inferenza distribuita che consente l'elaborazione parallela su più GPU per la generazione di video di lunga durata. Nello specifico, proponiamo due meccanismi coerenti: Parallelismo dei clip e Attenzione a doppio ambito. Il parallelismo dei clip ottimizza la raccolta e la condivisione di informazioni contestuali tra le GPU, minimizzando l'overhead di comunicazione, mentre l'attenzione a doppio ambito modula l'auto-attenzione temporale per bilanciare in modo efficiente i contesti locali e globali tra i dispositivi. Insieme, i due meccanismi collaborano per distribuire il carico di lavoro e consentire la generazione rapida di video lunghi. In una configurazione con 8 x Nvidia 6000 Ada GPU (48G), il nostro metodo genera video fino a 2.300 fotogrammi in circa 5 minuti, consentendo la generazione di video lunghi a una velocità 100 volte superiore rispetto ai metodi precedenti.

English

Diffusion models have recently achieved remarkable results for video generation. Despite the encouraging performances, the generated videos are typically constrained to a small number of frames, resulting in clips lasting merely a few seconds. The primary challenges in producing longer videos include the substantial memory requirements and the extended processing time required on a single GPU. A straightforward solution would be to split the workload across multiple GPUs, which, however, leads to two issues: (1) ensuring all GPUs communicate effectively to share timing and context information, and (2) modifying existing video diffusion models, which are usually trained on short sequences, to create longer videos without additional training. To tackle these, in this paper we introduce Video-Infinity, a distributed inference pipeline that enables parallel processing across multiple GPUs for long-form video generation. Specifically, we propose two coherent mechanisms: Clip parallelism and Dual-scope attention. Clip parallelism optimizes the gathering and sharing of context information across GPUs which minimizes communication overhead, while Dual-scope attention modulates the temporal self-attention to balance local and global contexts efficiently across the devices. Together, the two mechanisms join forces to distribute the workload and enable the fast generation of long videos. Under an 8 x Nvidia 6000 Ada GPU (48G) setup, our method generates videos up to 2,300 frames in approximately 5 minutes, enabling long video generation at a speed 100 times faster than the prior methods.