Reutilizar e Difundir: Desnudação Iterativa para Geração de Texto para Vídeo

Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation

September 7, 2023

Autores: Jiaxi Gu, Shicong Wang, Haoyu Zhao, Tianyi Lu, Xing Zhang, Zuxuan Wu, Songcen Xu, Wei Zhang, Yu-Gang Jiang, Hang Xu

cs.AI

Resumo

Inspirados pelo notável sucesso dos Modelos de Difusão Latente (LDMs) para síntese de imagens, estudamos o uso de LDMs para geração de texto para vídeo, o que representa um desafio formidável devido às restrições computacionais e de memória durante o treinamento e a inferência do modelo. Um único LDM geralmente é capaz de gerar apenas um número muito limitado de quadros de vídeo. Alguns trabalhos existentes focam em modelos de predição separados para gerar mais quadros de vídeo, mas esses métodos sofrem com custos adicionais de treinamento e tremores em nível de quadro. Neste artigo, propomos uma estrutura chamada "Reuse and Diffuse" (Reutilizar e Difundir), apelidada de VidRD, para produzir mais quadros seguindo os quadros já gerados por um LDM. Condicionado a um clipe de vídeo inicial com um pequeno número de quadros, quadros adicionais são gerados iterativamente reutilizando as características latentes originais e seguindo o processo de difusão anterior. Além disso, para o autoencoder usado para tradução entre o espaço de pixels e o espaço latente, injetamos camadas temporais em seu decodificador e ajustamos essas camadas para maior consistência temporal. Também propomos um conjunto de estratégias para compor dados de vídeo-texto que envolvem conteúdo diversificado de vários conjuntos de dados existentes, incluindo conjuntos de dados de vídeo para reconhecimento de ações e conjuntos de dados de imagem-texto. Experimentações extensivas mostram que nosso método alcança bons resultados tanto em avaliações quantitativas quanto qualitativas. Nossa página do projeto está disponível em https://anonymous0x233.github.io/ReuseAndDiffuse/{aqui}.

English

Inspired by the remarkable success of Latent Diffusion Models (LDMs) for image synthesis, we study LDM for text-to-video generation, which is a formidable challenge due to the computational and memory constraints during both model training and inference. A single LDM is usually only capable of generating a very limited number of video frames. Some existing works focus on separate prediction models for generating more video frames, which suffer from additional training cost and frame-level jittering, however. In this paper, we propose a framework called "Reuse and Diffuse" dubbed VidRD to produce more frames following the frames already generated by an LDM. Conditioned on an initial video clip with a small number of frames, additional frames are iteratively generated by reusing the original latent features and following the previous diffusion process. Besides, for the autoencoder used for translation between pixel space and latent space, we inject temporal layers into its decoder and fine-tune these layers for higher temporal consistency. We also propose a set of strategies for composing video-text data that involve diverse content from multiple existing datasets including video datasets for action recognition and image-text datasets. Extensive experiments show that our method achieves good results in both quantitative and qualitative evaluations. Our project page is available https://anonymous0x233.github.io/ReuseAndDiffuse/{here}.