Generazione di Video Lunghi Senza Addestramento con Catena di Modelli di Diffusione Esperti

Training-free Long Video Generation with Chain of Diffusion Model Experts

August 24, 2024

Autori: Wenhao Li, Yichao Cao, Xie Su, Xi Lin, Shan You, Mingkai Zheng, Yi Chen, Chang Xu

cs.AI

Abstract

I modelli di generazione video possiedono un potenziale significativo in aree come la produzione cinematografica. Tuttavia, gli attuali modelli di diffusione video richiedono costi computazionali elevati e producono risultati subottimali a causa dell'elevata complessità del compito di generazione video. In questo articolo, proponiamo ConFiner, un framework efficiente e di alta qualità per la generazione video che scompone il processo in sottotask più semplici: controllo della struttura e raffinamento spazio-temporale. Esso può generare video di alta qualità utilizzando una catena di modelli di diffusione preesistenti, ciascuno responsabile di un sottotask specifico. Durante la fase di raffinamento, introduciamo il denoising coordinato, che consente di unire le capacità di più esperti di diffusione in un singolo campionamento. Inoltre, progettiamo il framework ConFiner-Long, che può generare video lunghi e coerenti applicando tre strategie di vincolo su ConFiner. I risultati sperimentali indicano che, con solo il 10\% del costo di inferenza, il nostro ConFiner supera modelli rappresentativi come Lavie e Modelscope in tutte le metriche oggettive e soggettive. Inoltre, ConFiner-Long è in grado di generare video di alta qualità e coerenti con fino a 600 fotogrammi.

English

Video generation models hold substantial potential in areas such as filmmaking. However, current video diffusion models need high computational costs and produce suboptimal results due to high complexity of video generation task. In this paper, we propose ConFiner, an efficient high-quality video generation framework that decouples video generation into easier subtasks: structure control and spatial-temporal refinement. It can generate high-quality videos with chain of off-the-shelf diffusion model experts, each expert responsible for a decoupled subtask. During the refinement, we introduce coordinated denoising, which can merge multiple diffusion experts' capabilities into a single sampling. Furthermore, we design ConFiner-Long framework, which can generate long coherent video with three constraint strategies on ConFiner. Experimental results indicate that with only 10\% of the inference cost, our ConFiner surpasses representative models like Lavie and Modelscope across all objective and subjective metrics. And ConFiner-Long can generate high-quality and coherent videos with up to 600 frames.