Wiederverwendung und Diffusion: Iterative Entrauschung für die Text-zu-Video-Generierung

Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation

September 7, 2023

Autoren: Jiaxi Gu, Shicong Wang, Haoyu Zhao, Tianyi Lu, Xing Zhang, Zuxuan Wu, Songcen Xu, Wei Zhang, Yu-Gang Jiang, Hang Xu

cs.AI

Zusammenfassung

Inspiriert vom bemerkenswerten Erfolg von Latent Diffusion Models (LDMs) in der Bildsynthese untersuchen wir LDMs für die Text-zu-Video-Generierung, was aufgrund der rechen- und speicherintensiven Anforderungen sowohl während des Modelltrainings als auch der Inferenz eine große Herausforderung darstellt. Ein einzelnes LDM ist in der Regel nur in der Lage, eine sehr begrenzte Anzahl von Videobildern zu erzeugen. Einige bestehende Arbeiten konzentrieren sich auf separate Vorhersagemodelle zur Generierung weiterer Videobilder, die jedoch zusätzliche Trainingskosten und Frame-Level-Jittering verursachen. In diesem Artikel schlagen wir ein Framework namens „Reuse and Diffuse“ (VidRD) vor, um mehr Bilder basierend auf den bereits von einem LDM erzeugten Bildern zu produzieren. Basierend auf einem anfänglichen Videoclip mit einer geringen Anzahl von Bildern werden zusätzliche Bilder iterativ erzeugt, indem die ursprünglichen latenten Merkmale wiederverwendet und der vorherige Diffusionsprozess fortgesetzt wird. Darüber hinaus fügen wir für den Autoencoder, der für die Übersetzung zwischen Pixelraum und latentem Raum verwendet wird, temporale Schichten in seinen Decoder ein und feintunen diese Schichten für eine höhere zeitliche Konsistenz. Wir schlagen auch eine Reihe von Strategien für die Zusammenstellung von Video-Text-Daten vor, die vielfältige Inhalte aus mehreren bestehenden Datensätzen umfassen, darunter Videodatensätze für die Aktionserkennung und Bild-Text-Datensätze. Umfangreiche Experimente zeigen, dass unsere Methode sowohl in quantitativen als auch in qualitativen Bewertungen gute Ergebnisse erzielt. Unsere Projektseite ist verfügbar unter https://anonymous0x233.github.io/ReuseAndDiffuse/{hier}.

English

Inspired by the remarkable success of Latent Diffusion Models (LDMs) for image synthesis, we study LDM for text-to-video generation, which is a formidable challenge due to the computational and memory constraints during both model training and inference. A single LDM is usually only capable of generating a very limited number of video frames. Some existing works focus on separate prediction models for generating more video frames, which suffer from additional training cost and frame-level jittering, however. In this paper, we propose a framework called "Reuse and Diffuse" dubbed VidRD to produce more frames following the frames already generated by an LDM. Conditioned on an initial video clip with a small number of frames, additional frames are iteratively generated by reusing the original latent features and following the previous diffusion process. Besides, for the autoencoder used for translation between pixel space and latent space, we inject temporal layers into its decoder and fine-tune these layers for higher temporal consistency. We also propose a set of strategies for composing video-text data that involve diverse content from multiple existing datasets including video datasets for action recognition and image-text datasets. Extensive experiments show that our method achieves good results in both quantitative and qualitative evaluations. Our project page is available https://anonymous0x233.github.io/ReuseAndDiffuse/{here}.