Видео-Бесконечность: Распределенная Генерация Длинных Видео

Video-Infinity: Distributed Long Video Generation

June 24, 2024

Авторы: Zhenxiong Tan, Xingyi Yang, Songhua Liu, Xinchao Wang

cs.AI

Аннотация

Модели диффузии недавно достигли выдающихся результатов в генерации видео. Несмотря на обнадеживающие показатели, сгенерированные видеоролики обычно ограничены небольшим количеством кадров, что приводит к длительности клипов всего несколько секунд. Основные проблемы в создании более длинных видео включают значительные требования к памяти и увеличенное время обработки, необходимое для одного GPU. Простым решением было бы распределение нагрузки между несколькими GPU, что, однако, приводит к двум проблемам: (1) обеспечение эффективного взаимодействия всех GPU для обмена информацией о времени и контексте, и (2) модификация существующих моделей диффузии видео, обычно обученных на коротких последовательностях, для создания более длинных видео без дополнительного обучения. Для решения этих проблем в данной статье мы представляем Video-Infinity, распределенный конвейер вывода, который позволяет параллельную обработку на нескольких GPU для генерации длинных видеоформатов. Конкретно, мы предлагаем два согласованных механизма: параллелизм клипов и двойное внимание. Параллелизм клипов оптимизирует сбор и обмен контекстной информацией между GPU, что минимизирует накладные расходы на связь, в то время как двойное внимание модулирует временное самовнимание для эффективного балансирования локальных и глобальных контекстов на устройствах. Вместе эти два механизма объединяют усилия для распределения нагрузки и обеспечивают быструю генерацию длинных видео. При настройке на 8 x Nvidia 6000 Ada GPU (48G) наш метод генерирует видео длиной до 2 300 кадров примерно за 5 минут, обеспечивая генерацию длинных видео со скоростью в 100 раз выше, чем у предыдущих методов.

English

Diffusion models have recently achieved remarkable results for video generation. Despite the encouraging performances, the generated videos are typically constrained to a small number of frames, resulting in clips lasting merely a few seconds. The primary challenges in producing longer videos include the substantial memory requirements and the extended processing time required on a single GPU. A straightforward solution would be to split the workload across multiple GPUs, which, however, leads to two issues: (1) ensuring all GPUs communicate effectively to share timing and context information, and (2) modifying existing video diffusion models, which are usually trained on short sequences, to create longer videos without additional training. To tackle these, in this paper we introduce Video-Infinity, a distributed inference pipeline that enables parallel processing across multiple GPUs for long-form video generation. Specifically, we propose two coherent mechanisms: Clip parallelism and Dual-scope attention. Clip parallelism optimizes the gathering and sharing of context information across GPUs which minimizes communication overhead, while Dual-scope attention modulates the temporal self-attention to balance local and global contexts efficiently across the devices. Together, the two mechanisms join forces to distribute the workload and enable the fast generation of long videos. Under an 8 x Nvidia 6000 Ada GPU (48G) setup, our method generates videos up to 2,300 frames in approximately 5 minutes, enabling long video generation at a speed 100 times faster than the prior methods.