Factorized-Dreamer: Addestramento di un Generatore di Video di Alta Qualità con Dati Limitati e di Bassa Qualità

Factorized-Dreamer: Training A High-Quality Video Generator with Limited and Low-Quality Data

August 19, 2024

Autori: Tao Yang, Yangming Shi, Yunwen Huang, Feng Chen, Yin Zheng, Lei Zhang

cs.AI

Abstract

La generazione di video da testo (Text-to-Video, T2V) ha attirato notevole attenzione grazie alle sue ampie applicazioni nella generazione, modifica, miglioramento e traduzione di video, \etc. Tuttavia, la sintesi di video di alta qualità (HQ) è estremamente impegnativa a causa dei movimenti diversificati e complessi presenti nel mondo reale. La maggior parte dei lavori esistenti fatica a risolvere questo problema raccogliendo grandi quantità di video HQ, che sono inaccessibili alla comunità. In questo lavoro, dimostriamo che i dati pubblicamente disponibili, limitati e di bassa qualità (LQ), sono sufficienti per addestrare un generatore di video HQ senza necessità di ricaptazione o fine-tuning. Fattorizziamo l'intero processo di generazione T2V in due passaggi: generare un'immagine condizionata da una descrizione testuale altamente dettagliata e sintetizzare il video condizionato dall'immagine generata e da una descrizione concisa dei dettagli del movimento. Nello specifico, presentiamo Factorized-Dreamer, un framework spaziotemporale fattorizzato con diverse progettazioni critiche per la generazione T2V, tra cui un adattatore per combinare gli embedding di testo e immagine, un modulo di cross-attention pixel-aware per catturare le informazioni a livello di pixel, un codificatore di testo T5 per una migliore comprensione della descrizione del movimento e un PredictNet per supervisionare i flussi ottici. Introduciamo inoltre una schedulazione del rumore, che svolge un ruolo chiave nel garantire la qualità e la stabilità della generazione video. Il nostro modello riduce i requisiti in termini di descrizioni dettagliate e video HQ e può essere addestrato direttamente su dataset LQ limitati con descrizioni rumorose e brevi come WebVid-10M, allevando notevolmente il costo di raccolta di grandi quantità di coppie video-testo HQ. Esperimenti estensivi in una varietà di task di generazione T2V e da immagine a video dimostrano l'efficacia del nostro Factorized-Dreamer proposto. I nostri codici sorgente sono disponibili all'indirizzo https://github.com/yangxy/Factorized-Dreamer/.

English

Text-to-video (T2V) generation has gained significant attention due to its wide applications to video generation, editing, enhancement and translation, \etc. However, high-quality (HQ) video synthesis is extremely challenging because of the diverse and complex motions existed in real world. Most existing works struggle to address this problem by collecting large-scale HQ videos, which are inaccessible to the community. In this work, we show that publicly available limited and low-quality (LQ) data are sufficient to train a HQ video generator without recaptioning or finetuning. We factorize the whole T2V generation process into two steps: generating an image conditioned on a highly descriptive caption, and synthesizing the video conditioned on the generated image and a concise caption of motion details. Specifically, we present Factorized-Dreamer, a factorized spatiotemporal framework with several critical designs for T2V generation, including an adapter to combine text and image embeddings, a pixel-aware cross attention module to capture pixel-level image information, a T5 text encoder to better understand motion description, and a PredictNet to supervise optical flows. We further present a noise schedule, which plays a key role in ensuring the quality and stability of video generation. Our model lowers the requirements in detailed captions and HQ videos, and can be directly trained on limited LQ datasets with noisy and brief captions such as WebVid-10M, largely alleviating the cost to collect large-scale HQ video-text pairs. Extensive experiments in a variety of T2V and image-to-video generation tasks demonstrate the effectiveness of our proposed Factorized-Dreamer. Our source codes are available at https://github.com/yangxy/Factorized-Dreamer/.