Riutilizzo e Diffusione: Denoising Iterativo per la Generazione di Video da Testo

Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation

September 7, 2023

Autori: Jiaxi Gu, Shicong Wang, Haoyu Zhao, Tianyi Lu, Xing Zhang, Zuxuan Wu, Songcen Xu, Wei Zhang, Yu-Gang Jiang, Hang Xu

cs.AI

Abstract

Ispirati dal notevole successo dei Modelli di Diffusione Latente (LDMs) per la sintesi di immagini, studiamo l'applicazione degli LDMs per la generazione di video da testo, una sfida impegnativa a causa dei vincoli computazionali e di memoria durante sia l'addestramento che l'inferenza del modello. Un singolo LDM è generalmente in grado di generare solo un numero molto limitato di fotogrammi video. Alcuni lavori esistenti si concentrano su modelli di previsione separati per generare più fotogrammi video, ma questi soffrono di costi aggiuntivi di addestramento e di instabilità a livello di fotogramma. In questo articolo, proponiamo un framework chiamato "Reuse and Diffuse", denominato VidRD, per produrre più fotogrammi seguendo quelli già generati da un LDM. Condizionato da un clip video iniziale con un numero ridotto di fotogrammi, fotogrammi aggiuntivi vengono generati iterativamente riutilizzando le caratteristiche latenti originali e seguendo il precedente processo di diffusione. Inoltre, per l'autoencoder utilizzato per la traduzione tra lo spazio dei pixel e lo spazio latente, iniettiamo strati temporali nel suo decoder e ottimizziamo questi strati per una maggiore coerenza temporale. Proponiamo anche una serie di strategie per comporre dati video-testo che includono contenuti diversificati da più dataset esistenti, tra cui dataset video per il riconoscimento di azioni e dataset immagine-testo. Esperimenti estensivi dimostrano che il nostro metodo ottiene buoni risultati sia nelle valutazioni quantitative che qualitative. La nostra pagina del progetto è disponibile {qui} https://anonymous0x233.github.io/ReuseAndDiffuse/.

English

Inspired by the remarkable success of Latent Diffusion Models (LDMs) for image synthesis, we study LDM for text-to-video generation, which is a formidable challenge due to the computational and memory constraints during both model training and inference. A single LDM is usually only capable of generating a very limited number of video frames. Some existing works focus on separate prediction models for generating more video frames, which suffer from additional training cost and frame-level jittering, however. In this paper, we propose a framework called "Reuse and Diffuse" dubbed VidRD to produce more frames following the frames already generated by an LDM. Conditioned on an initial video clip with a small number of frames, additional frames are iteratively generated by reusing the original latent features and following the previous diffusion process. Besides, for the autoencoder used for translation between pixel space and latent space, we inject temporal layers into its decoder and fine-tune these layers for higher temporal consistency. We also propose a set of strategies for composing video-text data that involve diverse content from multiple existing datasets including video datasets for action recognition and image-text datasets. Extensive experiments show that our method achieves good results in both quantitative and qualitative evaluations. Our project page is available https://anonymous0x233.github.io/ReuseAndDiffuse/{here}.