Vídeo-Infinity: Geração Distribuída de Vídeos Longos

Video-Infinity: Distributed Long Video Generation

June 24, 2024

Autores: Zhenxiong Tan, Xingyi Yang, Songhua Liu, Xinchao Wang

cs.AI

Resumo

Os modelos de difusão alcançaram recentemente resultados notáveis na geração de vídeos. Apesar das performances encorajadoras, os vídeos gerados geralmente são limitados a um pequeno número de quadros, resultando em clipes com apenas alguns segundos de duração. Os principais desafios em produzir vídeos mais longos incluem os substanciais requisitos de memória e o tempo de processamento estendido necessário em uma única GPU. Uma solução direta seria dividir a carga de trabalho entre várias GPUs, o que, no entanto, acarreta dois problemas: (1) garantir que todas as GPUs se comuniquem efetivamente para compartilhar informações de tempo e contexto, e (2) modificar os modelos de difusão de vídeo existentes, que geralmente são treinados em sequências curtas, para criar vídeos mais longos sem treinamento adicional. Para lidar com esses desafios, neste artigo apresentamos o Video-Infinity, um pipeline de inferência distribuída que permite o processamento paralelo em várias GPUs para a geração de vídeos de longa duração. Especificamente, propomos dois mecanismos coerentes: Paralelismo de Clipes e Atenção de Duplo Escopo. O Paralelismo de Clipes otimiza a coleta e compartilhamento de informações de contexto entre as GPUs, minimizando a sobrecarga de comunicação, enquanto a Atenção de Duplo Escopo modula a autoatenção temporal para equilibrar contextos locais e globais de forma eficiente entre os dispositivos. Juntos, os dois mecanismos se unem para distribuir a carga de trabalho e permitir a geração rápida de vídeos longos. Com uma configuração de 8 x Nvidia 6000 Ada GPU (48G), nosso método gera vídeos de até 2.300 quadros em aproximadamente 5 minutos, possibilitando a geração de vídeos longos a uma velocidade 100 vezes mais rápida do que os métodos anteriores.

English

Diffusion models have recently achieved remarkable results for video generation. Despite the encouraging performances, the generated videos are typically constrained to a small number of frames, resulting in clips lasting merely a few seconds. The primary challenges in producing longer videos include the substantial memory requirements and the extended processing time required on a single GPU. A straightforward solution would be to split the workload across multiple GPUs, which, however, leads to two issues: (1) ensuring all GPUs communicate effectively to share timing and context information, and (2) modifying existing video diffusion models, which are usually trained on short sequences, to create longer videos without additional training. To tackle these, in this paper we introduce Video-Infinity, a distributed inference pipeline that enables parallel processing across multiple GPUs for long-form video generation. Specifically, we propose two coherent mechanisms: Clip parallelism and Dual-scope attention. Clip parallelism optimizes the gathering and sharing of context information across GPUs which minimizes communication overhead, while Dual-scope attention modulates the temporal self-attention to balance local and global contexts efficiently across the devices. Together, the two mechanisms join forces to distribute the workload and enable the fast generation of long videos. Under an 8 x Nvidia 6000 Ada GPU (48G) setup, our method generates videos up to 2,300 frames in approximately 5 minutes, enabling long video generation at a speed 100 times faster than the prior methods.