VideoFactory: Intercambio de Atención en Difusiones Espaciotemporales para la Generación de Texto a Video

VideoFactory: Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation

May 18, 2023

Autores: Wenjing Wang, Huan Yang, Zixi Tuo, Huiguo He, Junchen Zhu, Jianlong Fu, Jiaying Liu

cs.AI

Resumen

Presentamos VideoFactory, un marco innovador para la generación de videos de alta calidad en dominios abiertos. VideoFactory destaca en la producción de videos en alta definición (1376x768), formato panorámico (16:9) y sin marcas de agua, creando una experiencia de usuario envolvente. La generación de videos guiada por instrucciones de texto plantea desafíos significativos, como modelar la compleja relación entre el espacio y el tiempo, y la falta de datos a gran escala de pares texto-video. Enfoques previos extienden modelos preentrenados de generación de texto a imagen mediante la adición de módulos de convolución/atención 1D temporal para la generación de videos. Sin embargo, estos enfoques pasan por alto la importancia de modelar conjuntamente el espacio y el tiempo, lo que inevitablemente conduce a distorsiones temporales y desalineaciones entre los textos y los videos. En este artículo, proponemos un enfoque novedoso que fortalece la interacción entre las percepciones espaciales y temporales. En particular, utilizamos un mecanismo de atención cruzada intercambiada en ventanas 3D que alterna el rol de "consulta" entre bloques espaciales y temporales, permitiendo un refuerzo mutuo entre ambos. Para desbloquear completamente las capacidades del modelo en la generación de videos de alta calidad, hemos creado un conjunto de datos de video a gran escala llamado HD-VG-130M. Este conjunto de datos comprende 130 millones de pares texto-video de dominio abierto, garantizando características de alta definición, formato panorámico y sin marcas de agua. Métricas objetivas y estudios de usuario demuestran la superioridad de nuestro enfoque en términos de calidad por fotograma, correlación temporal y alineación texto-video, con márgenes claros.

English

We present VideoFactory, an innovative framework for generating high-quality open-domain videos. VideoFactory excels in producing high-definition (1376x768), widescreen (16:9) videos without watermarks, creating an engaging user experience. Generating videos guided by text instructions poses significant challenges, such as modeling the complex relationship between space and time, and the lack of large-scale text-video paired data. Previous approaches extend pretrained text-to-image generation models by adding temporal 1D convolution/attention modules for video generation. However, these approaches overlook the importance of jointly modeling space and time, inevitably leading to temporal distortions and misalignment between texts and videos. In this paper, we propose a novel approach that strengthens the interaction between spatial and temporal perceptions. In particular, we utilize a swapped cross-attention mechanism in 3D windows that alternates the "query" role between spatial and temporal blocks, enabling mutual reinforcement for each other. To fully unlock model capabilities for high-quality video generation, we curate a large-scale video dataset called HD-VG-130M. This dataset comprises 130 million text-video pairs from the open-domain, ensuring high-definition, widescreen and watermark-free characters. Objective metrics and user studies demonstrate the superiority of our approach in terms of per-frame quality, temporal correlation, and text-video alignment, with clear margins.