Vivid-ZOO: Generación de Vídeo Multi-Vista con Modelos de Difusión

Vivid-ZOO: Multi-View Video Generation with Diffusion Model

June 12, 2024

Autores: Bing Li, Cheng Zheng, Wenxuan Zhu, Jinjie Mai, Biao Zhang, Peter Wonka, Bernard Ghanem

cs.AI

Resumen

Si bien los modelos de difusión han demostrado un rendimiento impresionante en la generación de imágenes/videos 2D, la generación de videos multivista basada en difusión a partir de texto (Text-to-Multi-view-Video, T2MVid) sigue siendo un área poco explorada. Los nuevos desafíos planteados por la generación de T2MVid radican en la falta de grandes cantidades de videos multivista con subtítulos y en la complejidad de modelar una distribución multidimensional de este tipo. Para abordar esto, proponemos una novedosa pipeline basada en difusión que genera videos multivista de alta calidad centrados en un objeto 3D dinámico a partir de texto. Específicamente, descomponemos el problema de T2MVid en componentes de espacio de vista y tiempo. Esta factorización nos permite combinar y reutilizar capas de modelos avanzados preentrenados de difusión para imágenes multivista y videos 2D, asegurando la consistencia multivista y la coherencia temporal en los videos multivista generados, lo que reduce significativamente el costo de entrenamiento. Además, introducimos módulos de alineación para alinear los espacios latentes de las capas de los modelos preentrenados de difusión multivista y de videos 2D, abordando la incompatibilidad de las capas reutilizadas que surge de la brecha de dominio entre los datos 2D y multivista. Para apoyar esta y futuras investigaciones, también contribuimos con un conjunto de datos de videos multivista con subtítulos. Los resultados experimentales demuestran que nuestro método genera videos multivista de alta calidad, exhibiendo movimientos vívidos, coherencia temporal y consistencia multivista, dados una variedad de indicaciones textuales.

English

While diffusion models have shown impressive performance in 2D image/video generation, diffusion-based Text-to-Multi-view-Video (T2MVid) generation remains underexplored. The new challenges posed by T2MVid generation lie in the lack of massive captioned multi-view videos and the complexity of modeling such multi-dimensional distribution. To this end, we propose a novel diffusion-based pipeline that generates high-quality multi-view videos centered around a dynamic 3D object from text. Specifically, we factor the T2MVid problem into viewpoint-space and time components. Such factorization allows us to combine and reuse layers of advanced pre-trained multi-view image and 2D video diffusion models to ensure multi-view consistency as well as temporal coherence for the generated multi-view videos, largely reducing the training cost. We further introduce alignment modules to align the latent spaces of layers from the pre-trained multi-view and the 2D video diffusion models, addressing the reused layers' incompatibility that arises from the domain gap between 2D and multi-view data. In support of this and future research, we further contribute a captioned multi-view video dataset. Experimental results demonstrate that our method generates high-quality multi-view videos, exhibiting vivid motions, temporal coherence, and multi-view consistency, given a variety of text prompts.