Training-freie Langvideo-Generierung mit der Diffusionsmodellkette Experten

Training-free Long Video Generation with Chain of Diffusion Model Experts

August 24, 2024

Autoren: Wenhao Li, Yichao Cao, Xie Su, Xi Lin, Shan You, Mingkai Zheng, Yi Chen, Chang Xu

cs.AI

Zusammenfassung

Video-Generierungsmodelle bergen beträchtliches Potenzial in Bereichen wie der Filmproduktion. Allerdings erfordern aktuelle Video-Diffusionsmodelle hohe Rechenkosten und liefern aufgrund der hohen Komplexität der Video-Generierungsaufgabe suboptimale Ergebnisse. In diesem Paper schlagen wir ConFiner vor, ein effizientes Video-Generierungs-Framework von hoher Qualität, das die Video-Generierung in einfachere Teilaufgaben aufteilt: Struktursteuerung und räumlich-zeitliche Verfeinerung. Es kann hochwertige Videos mit einer Kette von einsatzbereiten Diffusionsmodell-Experten generieren, wobei jeder Experte für eine entkoppelte Teilaufgabe verantwortlich ist. Während der Verfeinerung führen wir koordiniertes Denoising ein, das die Fähigkeiten mehrerer Diffusions-Experten in eine einzige Stichprobe integrieren kann. Darüber hinaus entwerfen wir das ConFiner-Long-Framework, das lange kohärente Videos mit drei Einschränkungsstrategien auf ConFiner generieren kann. Experimentelle Ergebnisse zeigen, dass unser ConFiner mit nur 10\% der Inferenzkosten repräsentative Modelle wie Lavie und Modelscope in allen objektiven und subjektiven Metriken übertrifft. Und ConFiner-Long kann hochwertige und kohärente Videos mit bis zu 600 Frames generieren.

English

Video generation models hold substantial potential in areas such as filmmaking. However, current video diffusion models need high computational costs and produce suboptimal results due to high complexity of video generation task. In this paper, we propose ConFiner, an efficient high-quality video generation framework that decouples video generation into easier subtasks: structure control and spatial-temporal refinement. It can generate high-quality videos with chain of off-the-shelf diffusion model experts, each expert responsible for a decoupled subtask. During the refinement, we introduce coordinated denoising, which can merge multiple diffusion experts' capabilities into a single sampling. Furthermore, we design ConFiner-Long framework, which can generate long coherent video with three constraint strategies on ConFiner. Experimental results indicate that with only 10\% of the inference cost, our ConFiner surpasses representative models like Lavie and Modelscope across all objective and subjective metrics. And ConFiner-Long can generate high-quality and coherent videos with up to 600 frames.