VideoTetris: Hacia la Generación Composicional de Texto a Video

VideoTetris: Towards Compositional Text-to-Video Generation

June 6, 2024

Autores: Ye Tian, Ling Yang, Haotian Yang, Yuan Gao, Yufan Deng, Jingmin Chen, Xintao Wang, Zhaochen Yu, Xin Tao, Pengfei Wan, Di Zhang, Bin Cui

cs.AI

Resumen

Los modelos de difusión han demostrado un gran éxito en la generación de texto a video (T2V). Sin embargo, los métodos existentes pueden enfrentar desafíos al manejar escenarios complejos de generación de videos largos que involucran múltiples objetos o cambios dinámicos en el número de objetos. Para abordar estas limitaciones, proponemos VideoTetris, un marco novedoso que permite la generación composicional de T2V. Específicamente, proponemos una difusión composicional espacio-temporal para seguir con precisión la semántica textual compleja mediante la manipulación y composición de los mapas de atención de las redes de eliminación de ruido tanto espacial como temporalmente. Además, proponemos un preprocesamiento mejorado de datos de video para mejorar los datos de entrenamiento en cuanto a la dinámica del movimiento y la comprensión de las indicaciones, equipado con un nuevo mecanismo de atención de marco de referencia para mejorar la consistencia en la generación autoregresiva de videos. Experimentos extensos demuestran que nuestro VideoTetris logra resultados cualitativos y cuantitativos impresionantes en la generación composicional de T2V. El código está disponible en: https://github.com/YangLing0818/VideoTetris.

English

Diffusion models have demonstrated great success in text-to-video (T2V) generation. However, existing methods may face challenges when handling complex (long) video generation scenarios that involve multiple objects or dynamic changes in object numbers. To address these limitations, we propose VideoTetris, a novel framework that enables compositional T2V generation. Specifically, we propose spatio-temporal compositional diffusion to precisely follow complex textual semantics by manipulating and composing the attention maps of denoising networks spatially and temporally. Moreover, we propose an enhanced video data preprocessing to enhance the training data regarding motion dynamics and prompt understanding, equipped with a new reference frame attention mechanism to improve the consistency of auto-regressive video generation. Extensive experiments demonstrate that our VideoTetris achieves impressive qualitative and quantitative results in compositional T2V generation. Code is available at: https://github.com/YangLing0818/VideoTetris