Training-vrije Lange Videogeneratie met een Ketting van Diffusiemodellen Experts

Training-free Long Video Generation with Chain of Diffusion Model Experts

August 24, 2024

Auteurs: Wenhao Li, Yichao Cao, Xie Su, Xi Lin, Shan You, Mingkai Zheng, Yi Chen, Chang Xu

cs.AI

Samenvatting

Videogeneratiemodellen hebben aanzienlijk potentieel in gebieden zoals filmmaking. Huidige videodiffusiemodellen vereisen echter hoge computationele kosten en leveren suboptimale resultaten op vanwege de hoge complexiteit van de videogeneratietaak. In dit artikel stellen we ConFiner voor, een efficiënt kwalitatief hoogstaand videogeneratieraamwerk dat videogeneratie ontkoppelt in eenvoudigere subtaken: structuurcontrole en ruimtelijk-temporele verfijning. Het kan hoogwaardige video's genereren met een keten van kant-en-klare diffusiemodelexperts, waarbij elke expert verantwoordelijk is voor een ontkoppelde subtaak. Tijdens de verfijning introduceren we gecoördineerde denoising, waardoor de mogelijkheden van meerdere diffusie-experts kunnen worden samengevoegd in een enkele sampling. Bovendien ontwerpen we het ConFiner-Long raamwerk, dat lange coherente video's kan genereren met drie beperkingsstrategieën op ConFiner. Experimentele resultaten tonen aan dat ConFiner met slechts 10\% van de inferentiekosten representatieve modellen zoals Lavie en Modelscope overtreft op alle objectieve en subjectieve metrieken. En ConFiner-Long kan hoogwaardige en coherente video's genereren met tot wel 600 frames.

English

Video generation models hold substantial potential in areas such as filmmaking. However, current video diffusion models need high computational costs and produce suboptimal results due to high complexity of video generation task. In this paper, we propose ConFiner, an efficient high-quality video generation framework that decouples video generation into easier subtasks: structure control and spatial-temporal refinement. It can generate high-quality videos with chain of off-the-shelf diffusion model experts, each expert responsible for a decoupled subtask. During the refinement, we introduce coordinated denoising, which can merge multiple diffusion experts' capabilities into a single sampling. Furthermore, we design ConFiner-Long framework, which can generate long coherent video with three constraint strategies on ConFiner. Experimental results indicate that with only 10\% of the inference cost, our ConFiner surpasses representative models like Lavie and Modelscope across all objective and subjective metrics. And ConFiner-Long can generate high-quality and coherent videos with up to 600 frames.