Make-Your-Video: Generación de Video Personalizado Utilizando Orientación Textual y Estructural

Make-Your-Video: Customized Video Generation Using Textual and Structural Guidance

June 1, 2023

Autores: Jinbo Xing, Menghan Xia, Yuxin Liu, Yuechen Zhang, Yong Zhang, Yingqing He, Hanyuan Liu, Haoxin Chen, Xiaodong Cun, Xintao Wang, Ying Shan, Tien-Tsin Wong

cs.AI

Resumen

Crear un vídeo vívido a partir de un evento o escenario en nuestra imaginación es una experiencia verdaderamente fascinante. Los avances recientes en la síntesis de texto a vídeo han revelado el potencial de lograr esto únicamente con indicaciones. Si bien el texto es conveniente para transmitir el contexto general de la escena, puede resultar insuficiente para un control preciso. En este artículo, exploramos la generación de vídeos personalizados utilizando el texto como descripción del contexto y la estructura de movimiento (por ejemplo, la profundidad por fotograma) como guía concreta. Nuestro método, denominado Make-Your-Video, implica la generación de vídeos con condiciones conjuntas utilizando un Modelo de Difusión Latente que está preentrenado para la síntesis de imágenes estáticas y luego adaptado para la generación de vídeos con la introducción de módulos temporales. Este esquema de aprendizaje en dos etapas no solo reduce los recursos computacionales requeridos, sino que también mejora el rendimiento al transferir los conceptos ricos disponibles en los conjuntos de datos de imágenes exclusivamente a la generación de vídeos. Además, utilizamos una estrategia de máscara de atención causal simple pero efectiva para permitir la síntesis de vídeos más largos, lo que mitiga eficazmente la posible degradación de la calidad. Los resultados experimentales muestran la superioridad de nuestro método sobre las líneas base existentes, particularmente en términos de coherencia temporal y fidelidad a las indicaciones del usuario. Además, nuestro modelo permite varias aplicaciones intrigantes que demuestran potencial para un uso práctico.

English

Creating a vivid video from the event or scenario in our imagination is a truly fascinating experience. Recent advancements in text-to-video synthesis have unveiled the potential to achieve this with prompts only. While text is convenient in conveying the overall scene context, it may be insufficient to control precisely. In this paper, we explore customized video generation by utilizing text as context description and motion structure (e.g. frame-wise depth) as concrete guidance. Our method, dubbed Make-Your-Video, involves joint-conditional video generation using a Latent Diffusion Model that is pre-trained for still image synthesis and then promoted for video generation with the introduction of temporal modules. This two-stage learning scheme not only reduces the computing resources required, but also improves the performance by transferring the rich concepts available in image datasets solely into video generation. Moreover, we use a simple yet effective causal attention mask strategy to enable longer video synthesis, which mitigates the potential quality degradation effectively. Experimental results show the superiority of our method over existing baselines, particularly in terms of temporal coherence and fidelity to users' guidance. In addition, our model enables several intriguing applications that demonstrate potential for practical usage.