Hergebruik en Verspreiding: Iteratieve Denoisering voor Tekst-naar-Video Generatie

Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation

September 7, 2023

Auteurs: Jiaxi Gu, Shicong Wang, Haoyu Zhao, Tianyi Lu, Xing Zhang, Zuxuan Wu, Songcen Xu, Wei Zhang, Yu-Gang Jiang, Hang Xu

cs.AI

Samenvatting

Geïnspireerd door de opmerkelijke successen van Latent Diffusion Models (LDMs) voor beeldgeneratie, bestuderen we LDM voor tekst-naar-video generatie, wat een uitdagende taak is vanwege de rekenkundige en geheugenbeperkingen tijdens zowel modeltraining als inferentie. Een enkele LDM is meestal alleen in staat om een zeer beperkt aantal videoframes te genereren. Sommige bestaande werken richten zich op aparte voorspellingsmodellen voor het genereren van meer videoframes, maar deze hebben te kampen met extra trainingskosten en frame-level jittering. In dit artikel stellen we een framework voor genaamd "Reuse and Diffuse", ook wel VidRD genoemd, om meer frames te produceren na de frames die al door een LDM zijn gegenereerd. Gebaseerd op een initieel videofragment met een klein aantal frames, worden aanvullende frames iteratief gegenereerd door de oorspronkelijke latente kenmerken te hergebruiken en het vorige diffusieproces te volgen. Daarnaast injecteren we tijdelijke lagen in de decoder van de auto-encoder die wordt gebruikt voor de vertaling tussen pixelruimte en latente ruimte, en fine-tunen we deze lagen voor een hogere temporele consistentie. We stellen ook een reeks strategieën voor voor het samenstellen van video-tekstgegevens die diverse inhoud omvatten uit meerdere bestaande datasets, waaronder videodatasets voor actieherkenning en beeld-tekst datasets. Uitgebreide experimenten tonen aan dat onze methode goede resultaten behaalt in zowel kwantitatieve als kwalitatieve evaluaties. Onze projectpagina is beschikbaar op https://anonymous0x233.github.io/ReuseAndDiffuse/{hier}.

English

Inspired by the remarkable success of Latent Diffusion Models (LDMs) for image synthesis, we study LDM for text-to-video generation, which is a formidable challenge due to the computational and memory constraints during both model training and inference. A single LDM is usually only capable of generating a very limited number of video frames. Some existing works focus on separate prediction models for generating more video frames, which suffer from additional training cost and frame-level jittering, however. In this paper, we propose a framework called "Reuse and Diffuse" dubbed VidRD to produce more frames following the frames already generated by an LDM. Conditioned on an initial video clip with a small number of frames, additional frames are iteratively generated by reusing the original latent features and following the previous diffusion process. Besides, for the autoencoder used for translation between pixel space and latent space, we inject temporal layers into its decoder and fine-tune these layers for higher temporal consistency. We also propose a set of strategies for composing video-text data that involve diverse content from multiple existing datasets including video datasets for action recognition and image-text datasets. Extensive experiments show that our method achieves good results in both quantitative and qualitative evaluations. Our project page is available https://anonymous0x233.github.io/ReuseAndDiffuse/{here}.