Réutilisation et Diffusion : Dénuage itératif pour la génération de texte-à-vidéo

Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation

September 7, 2023

Auteurs: Jiaxi Gu, Shicong Wang, Haoyu Zhao, Tianyi Lu, Xing Zhang, Zuxuan Wu, Songcen Xu, Wei Zhang, Yu-Gang Jiang, Hang Xu

cs.AI

Résumé

Inspirés par le succès remarquable des modèles de diffusion latente (LDMs) pour la synthèse d'images, nous étudions l'application des LDMs à la génération de texte-à-vidéo, un défi de taille en raison des contraintes de calcul et de mémoire lors de l'entraînement et de l'inférence du modèle. Un seul LDM est généralement capable de générer un nombre très limité de trames vidéo. Certains travaux existants se concentrent sur des modèles de prédiction séparés pour générer davantage de trames vidéo, mais ceux-ci souffrent de coûts d'entraînement supplémentaires et de tremblements au niveau des trames. Dans cet article, nous proposons un cadre appelé "Reuse and Diffuse" (VidRD) pour produire plus de trames à partir des trames déjà générées par un LDM. Conditionné sur un clip vidéo initial contenant un petit nombre de trames, des trames supplémentaires sont générées de manière itérative en réutilisant les caractéristiques latentes originales et en suivant le processus de diffusion précédent. Par ailleurs, pour l'autoencodeur utilisé pour la traduction entre l'espace pixel et l'espace latent, nous injectons des couches temporelles dans son décodeur et affinons ces couches pour une meilleure cohérence temporelle. Nous proposons également un ensemble de stratégies pour composer des données vidéo-texte impliquant un contenu diversifié provenant de plusieurs ensembles de données existants, y compris des ensembles de données vidéo pour la reconnaissance d'actions et des ensembles de données image-texte. Des expériences approfondies montrent que notre méthode obtient de bons résultats dans les évaluations quantitatives et qualitatives. Notre page de projet est disponible {ici}.

English

Inspired by the remarkable success of Latent Diffusion Models (LDMs) for image synthesis, we study LDM for text-to-video generation, which is a formidable challenge due to the computational and memory constraints during both model training and inference. A single LDM is usually only capable of generating a very limited number of video frames. Some existing works focus on separate prediction models for generating more video frames, which suffer from additional training cost and frame-level jittering, however. In this paper, we propose a framework called "Reuse and Diffuse" dubbed VidRD to produce more frames following the frames already generated by an LDM. Conditioned on an initial video clip with a small number of frames, additional frames are iteratively generated by reusing the original latent features and following the previous diffusion process. Besides, for the autoencoder used for translation between pixel space and latent space, we inject temporal layers into its decoder and fine-tune these layers for higher temporal consistency. We also propose a set of strategies for composing video-text data that involve diverse content from multiple existing datasets including video datasets for action recognition and image-text datasets. Extensive experiments show that our method achieves good results in both quantitative and qualitative evaluations. Our project page is available https://anonymous0x233.github.io/ReuseAndDiffuse/{here}.