Geração de Vídeo Longo sem Treinamento com Modelo de Difusão em Cadeia Especialistas

Training-free Long Video Generation with Chain of Diffusion Model Experts

August 24, 2024

Autores: Wenhao Li, Yichao Cao, Xie Su, Xi Lin, Shan You, Mingkai Zheng, Yi Chen, Chang Xu

cs.AI

Resumo

Modelos de geração de vídeo possuem um potencial substancial em áreas como produção cinematográfica. No entanto, os modelos atuais de difusão de vídeo requerem altos custos computacionais e produzem resultados subótimos devido à alta complexidade da tarefa de geração de vídeo. Neste artigo, propomos o ConFiner, um framework eficiente de alta qualidade para geração de vídeo que desacopla a geração de vídeo em subtarefas mais simples: controle de estrutura e refinamento espaço-temporal. Ele pode gerar vídeos de alta qualidade com uma cadeia de especialistas de modelo de difusão prontos para uso, sendo cada especialista responsável por uma subtarefa desacoplada. Durante o refinamento, introduzimos a desnoise coordenada, que pode mesclar as capacidades de múltiplos especialistas de difusão em uma única amostragem. Além disso, projetamos o framework ConFiner-Long, que pode gerar vídeos longos coerentes com três estratégias de restrição no ConFiner. Os resultados experimentais indicam que, com apenas 10\% do custo de inferência, nosso ConFiner supera modelos representativos como Lavie e Modelscope em todas as métricas objetivas e subjetivas. E o ConFiner-Long pode gerar vídeos de alta qualidade e coerentes com até 600 quadros.

English

Video generation models hold substantial potential in areas such as filmmaking. However, current video diffusion models need high computational costs and produce suboptimal results due to high complexity of video generation task. In this paper, we propose ConFiner, an efficient high-quality video generation framework that decouples video generation into easier subtasks: structure control and spatial-temporal refinement. It can generate high-quality videos with chain of off-the-shelf diffusion model experts, each expert responsible for a decoupled subtask. During the refinement, we introduce coordinated denoising, which can merge multiple diffusion experts' capabilities into a single sampling. Furthermore, we design ConFiner-Long framework, which can generate long coherent video with three constraint strategies on ConFiner. Experimental results indicate that with only 10\% of the inference cost, our ConFiner surpasses representative models like Lavie and Modelscope across all objective and subjective metrics. And ConFiner-Long can generate high-quality and coherent videos with up to 600 frames.