Make-Your-Video: Generazione Personalizzata di Video Utilizzando Indicazioni Testuali e Strutturali

Make-Your-Video: Customized Video Generation Using Textual and Structural Guidance

June 1, 2023

Autori: Jinbo Xing, Menghan Xia, Yuxin Liu, Yuechen Zhang, Yong Zhang, Yingqing He, Hanyuan Liu, Haoxin Chen, Xiaodong Cun, Xintao Wang, Ying Shan, Tien-Tsin Wong

cs.AI

Abstract

Creare un video vivido da un evento o scenario nella nostra immaginazione è un'esperienza davvero affascinante. I recenti progressi nella sintesi video da testo hanno rivelato il potenziale per raggiungere questo obiettivo utilizzando solo prompt. Sebbene il testo sia conveniente per trasmettere il contesto generale della scena, potrebbe essere insufficiente per un controllo preciso. In questo articolo, esploriamo la generazione di video personalizzati utilizzando il testo come descrizione del contesto e la struttura del movimento (ad esempio, la profondità frame per frame) come guida concreta. Il nostro metodo, denominato Make-Your-Video, prevede la generazione video congiuntamente condizionata utilizzando un modello di diffusione latente pre-addestrato per la sintesi di immagini statiche e poi promosso per la generazione video con l'introduzione di moduli temporali. Questo schema di apprendimento in due fasi non solo riduce le risorse computazionali richieste, ma migliora anche le prestazioni trasferendo i concetti ricchi disponibili nei dataset di immagini esclusivamente nella generazione video. Inoltre, utilizziamo una strategia semplice ma efficace di maschera di attenzione causale per abilitare la sintesi di video più lunghi, mitigando efficacemente il potenziale degrado della qualità. I risultati sperimentali mostrano la superiorità del nostro metodo rispetto alle baseline esistenti, in particolare in termini di coerenza temporale e fedeltà alle indicazioni degli utenti. Inoltre, il nostro modello abilita diverse applicazioni intriganti che dimostrano un potenziale per un utilizzo pratico.

English

Creating a vivid video from the event or scenario in our imagination is a truly fascinating experience. Recent advancements in text-to-video synthesis have unveiled the potential to achieve this with prompts only. While text is convenient in conveying the overall scene context, it may be insufficient to control precisely. In this paper, we explore customized video generation by utilizing text as context description and motion structure (e.g. frame-wise depth) as concrete guidance. Our method, dubbed Make-Your-Video, involves joint-conditional video generation using a Latent Diffusion Model that is pre-trained for still image synthesis and then promoted for video generation with the introduction of temporal modules. This two-stage learning scheme not only reduces the computing resources required, but also improves the performance by transferring the rich concepts available in image datasets solely into video generation. Moreover, we use a simple yet effective causal attention mask strategy to enable longer video synthesis, which mitigates the potential quality degradation effectively. Experimental results show the superiority of our method over existing baselines, particularly in terms of temporal coherence and fidelity to users' guidance. In addition, our model enables several intriguing applications that demonstrate potential for practical usage.