Генерация длинных видео без обучения с использованием модели диффузии в цепочке Эксперты

Training-free Long Video Generation with Chain of Diffusion Model Experts

August 24, 2024

Авторы: Wenhao Li, Yichao Cao, Xie Su, Xi Lin, Shan You, Mingkai Zheng, Yi Chen, Chang Xu

cs.AI

Аннотация

Модели генерации видео обладают значительным потенциалом в областях, таких как кинопроизводство. Однако текущие модели диффузии видео требуют высоких вычислительных затрат и дают неоптимальные результаты из-за высокой сложности задачи генерации видео. В данной статье мы предлагаем ConFiner, эффективную высококачественную систему генерации видео, которая разделяет процесс генерации видео на более простые подзадачи: управление структурой и пространственно-временную доработку. Она способна создавать видео высокого качества с помощью цепочки экспертов моделей диффузии, каждый из которых отвечает за свою разделенную подзадачу. Во время доработки мы вводим согласованное шумоподавление, которое может объединить возможности нескольких экспертов по диффузии в одну выборку. Более того, мы разрабатываем структуру ConFiner-Long, которая способна генерировать длинное последовательное видео с тремя стратегиями ограничений на ConFiner. Экспериментальные результаты показывают, что при затратах на вывод всего лишь 10\% наш ConFiner превосходит представительные модели, такие как Lavie и Modelscope, по всем объективным и субъективным метрикам. А ConFiner-Long способен создавать видео высокого качества и последовательные видеоролики с до 600 кадрами.

English

Video generation models hold substantial potential in areas such as filmmaking. However, current video diffusion models need high computational costs and produce suboptimal results due to high complexity of video generation task. In this paper, we propose ConFiner, an efficient high-quality video generation framework that decouples video generation into easier subtasks: structure control and spatial-temporal refinement. It can generate high-quality videos with chain of off-the-shelf diffusion model experts, each expert responsible for a decoupled subtask. During the refinement, we introduce coordinated denoising, which can merge multiple diffusion experts' capabilities into a single sampling. Furthermore, we design ConFiner-Long framework, which can generate long coherent video with three constraint strategies on ConFiner. Experimental results indicate that with only 10\% of the inference cost, our ConFiner surpasses representative models like Lavie and Modelscope across all objective and subjective metrics. And ConFiner-Long can generate high-quality and coherent videos with up to 600 frames.