Video-Infinity: Generación Distribuida de Videos Largos

Video-Infinity: Distributed Long Video Generation

June 24, 2024

Autores: Zhenxiong Tan, Xingyi Yang, Songhua Liu, Xinchao Wang

cs.AI

Resumen

Los modelos de difusión han logrado recientemente resultados notables en la generación de videos. A pesar de los rendimientos alentadores, los videos generados suelen estar limitados a un número reducido de fotogramas, lo que resulta en clips que duran apenas unos segundos. Los principales desafíos para producir videos más largos incluyen los requisitos sustanciales de memoria y el tiempo de procesamiento extendido necesario en una sola GPU. Una solución directa sería dividir la carga de trabajo entre múltiples GPUs, lo que, sin embargo, conlleva dos problemas: (1) garantizar que todas las GPUs se comuniquen de manera efectiva para compartir información de tiempo y contexto, y (2) modificar los modelos de difusión de video existentes, que generalmente se entrenan con secuencias cortas, para crear videos más largos sin necesidad de entrenamiento adicional. Para abordar estos desafíos, en este artículo presentamos Video-Infinity, una canalización de inferencia distribuida que permite el procesamiento paralelo en múltiples GPUs para la generación de videos de larga duración. Específicamente, proponemos dos mecanismos coherentes: Paralelismo de clips y Atención de doble alcance. El paralelismo de clips optimiza la recopilación y el intercambio de información de contexto entre GPUs, lo que minimiza la sobrecarga de comunicación, mientras que la atención de doble alcance modula la autoatención temporal para equilibrar de manera eficiente los contextos locales y globales entre los dispositivos. Juntos, estos dos mecanismos trabajan en conjunto para distribuir la carga de trabajo y permitir la generación rápida de videos largos. En una configuración de 8 x Nvidia 6000 Ada GPU (48G), nuestro método genera videos de hasta 2,300 fotogramas en aproximadamente 5 minutos, lo que permite la generación de videos largos a una velocidad 100 veces mayor que los métodos anteriores.

English

Diffusion models have recently achieved remarkable results for video generation. Despite the encouraging performances, the generated videos are typically constrained to a small number of frames, resulting in clips lasting merely a few seconds. The primary challenges in producing longer videos include the substantial memory requirements and the extended processing time required on a single GPU. A straightforward solution would be to split the workload across multiple GPUs, which, however, leads to two issues: (1) ensuring all GPUs communicate effectively to share timing and context information, and (2) modifying existing video diffusion models, which are usually trained on short sequences, to create longer videos without additional training. To tackle these, in this paper we introduce Video-Infinity, a distributed inference pipeline that enables parallel processing across multiple GPUs for long-form video generation. Specifically, we propose two coherent mechanisms: Clip parallelism and Dual-scope attention. Clip parallelism optimizes the gathering and sharing of context information across GPUs which minimizes communication overhead, while Dual-scope attention modulates the temporal self-attention to balance local and global contexts efficiently across the devices. Together, the two mechanisms join forces to distribute the workload and enable the fast generation of long videos. Under an 8 x Nvidia 6000 Ada GPU (48G) setup, our method generates videos up to 2,300 frames in approximately 5 minutes, enabling long video generation at a speed 100 times faster than the prior methods.