Génération de vidéos longues sans entraînement avec un modèle de diffusion en chaîne Experts

Training-free Long Video Generation with Chain of Diffusion Model Experts

August 24, 2024

Auteurs: Wenhao Li, Yichao Cao, Xie Su, Xi Lin, Shan You, Mingkai Zheng, Yi Chen, Chang Xu

cs.AI

Résumé

Les modèles de génération vidéo ont un potentiel considérable dans des domaines tels que la production cinématographique. Cependant, les modèles actuels de diffusion vidéo nécessitent des coûts computationnels élevés et produisent des résultats suboptimaux en raison de la complexité élevée de la tâche de génération vidéo. Dans cet article, nous proposons ConFiner, un cadre efficace de génération vidéo de haute qualité qui découple la génération vidéo en sous-tâches plus simples : le contrôle de la structure et le raffinement spatial-temporel. Il peut générer des vidéos de haute qualité avec une chaîne d'experts en modèles de diffusion prêts à l'emploi, chaque expert étant responsable d'une sous-tâche découplée. Pendant le raffinement, nous introduisons un débruitage coordonné, qui peut fusionner les capacités de plusieurs experts en diffusion en un seul échantillonnage. De plus, nous concevons le cadre ConFiner-Long, qui peut générer une vidéo longue et cohérente avec trois stratégies de contrainte sur ConFiner. Les résultats expérimentaux indiquent qu'avec seulement 10\% du coût d'inférence, notre ConFiner surpasse des modèles représentatifs tels que Lavie et Modelscope sur tous les critères objectifs et subjectifs. Et ConFiner-Long peut générer des vidéos de haute qualité et cohérentes avec jusqu'à 600 images.

English

Video generation models hold substantial potential in areas such as filmmaking. However, current video diffusion models need high computational costs and produce suboptimal results due to high complexity of video generation task. In this paper, we propose ConFiner, an efficient high-quality video generation framework that decouples video generation into easier subtasks: structure control and spatial-temporal refinement. It can generate high-quality videos with chain of off-the-shelf diffusion model experts, each expert responsible for a decoupled subtask. During the refinement, we introduce coordinated denoising, which can merge multiple diffusion experts' capabilities into a single sampling. Furthermore, we design ConFiner-Long framework, which can generate long coherent video with three constraint strategies on ConFiner. Experimental results indicate that with only 10\% of the inference cost, our ConFiner surpasses representative models like Lavie and Modelscope across all objective and subjective metrics. And ConFiner-Long can generate high-quality and coherent videos with up to 600 frames.