VideoCrafter2 : Surmonter les limitations des données pour des modèles de diffusion vidéo de haute qualité

VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models

January 17, 2024

Auteurs: Haoxin Chen, Yong Zhang, Xiaodong Cun, Menghan Xia, Xintao Wang, Chao Weng, Ying Shan

cs.AI

Résumé

La génération de texte-à-vidéo vise à produire une vidéo à partir d'une description donnée. Récemment, plusieurs modèles vidéo commerciaux ont été capables de générer des vidéos plausibles avec un bruit minimal, des détails excellents et des scores esthétiques élevés. Cependant, ces modèles s'appuient sur des vidéos de grande échelle, bien filtrées et de haute qualité qui ne sont pas accessibles à la communauté. De nombreux travaux de recherche existants, qui entraînent des modèles en utilisant le jeu de données WebVid-10M de faible qualité, peinent à générer des vidéos de haute qualité car les modèles sont optimisés pour s'adapter à WebVid-10M. Dans ce travail, nous explorons le schéma d'entraînement des modèles vidéo étendus à partir de Stable Diffusion et étudions la faisabilité d'exploiter des vidéos de faible qualité et des images synthétisées de haute qualité pour obtenir un modèle vidéo de haute qualité. Nous analysons d'abord la connexion entre les modules spatiaux et temporels des modèles vidéo et le décalage de distribution vers des vidéos de faible qualité. Nous observons qu'un entraînement complet de tous les modules entraîne un couplage plus fort entre les modules spatiaux et temporels que l'entraînement des seuls modules temporels. Sur la base de ce couplage plus fort, nous décalons la distribution vers une qualité supérieure sans dégradation du mouvement en affinant les modules spatiaux avec des images de haute qualité, ce qui donne un modèle vidéo générique de haute qualité. Des évaluations sont menées pour démontrer la supériorité de la méthode proposée, en particulier en termes de qualité d'image, de mouvement et de composition conceptuelle.

English

Text-to-video generation aims to produce a video based on a given prompt. Recently, several commercial video models have been able to generate plausible videos with minimal noise, excellent details, and high aesthetic scores. However, these models rely on large-scale, well-filtered, high-quality videos that are not accessible to the community. Many existing research works, which train models using the low-quality WebVid-10M dataset, struggle to generate high-quality videos because the models are optimized to fit WebVid-10M. In this work, we explore the training scheme of video models extended from Stable Diffusion and investigate the feasibility of leveraging low-quality videos and synthesized high-quality images to obtain a high-quality video model. We first analyze the connection between the spatial and temporal modules of video models and the distribution shift to low-quality videos. We observe that full training of all modules results in a stronger coupling between spatial and temporal modules than only training temporal modules. Based on this stronger coupling, we shift the distribution to higher quality without motion degradation by finetuning spatial modules with high-quality images, resulting in a generic high-quality video model. Evaluations are conducted to demonstrate the superiority of the proposed method, particularly in picture quality, motion, and concept composition.