VideoFactory: Scambio dell'Attenzione nelle Diffusioni Spaziotemporali per la Generazione di Video da Testo

VideoFactory: Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation

May 18, 2023

Autori: Wenjing Wang, Huan Yang, Zixi Tuo, Huiguo He, Junchen Zhu, Jianlong Fu, Jiaying Liu

cs.AI

Abstract

Presentiamo VideoFactory, un framework innovativo per la generazione di video di alta qualità in domini aperti. VideoFactory eccelle nella produzione di video in alta definizione (1376x768), in formato widescreen (16:9) e privi di watermark, offrendo un'esperienza utente coinvolgente. La generazione di video guidata da istruzioni testuali presenta sfide significative, come la modellazione della complessa relazione tra spazio e tempo e la mancanza di dati su larga scala accoppiati testo-video. Approcci precedenti estendono modelli pre-addestrati per la generazione di immagini da testo, aggiungendo moduli di convoluzione/attenzione 1D temporali per la generazione di video. Tuttavia, questi approcci trascurano l'importanza di modellare congiuntamente spazio e tempo, portando inevitabilmente a distorsioni temporali e disallineamenti tra testi e video. In questo articolo, proponiamo un approccio innovativo che rafforza l'interazione tra percezioni spaziali e temporali. In particolare, utilizziamo un meccanismo di cross-attenzione scambiata in finestre 3D che alterna il ruolo di "query" tra blocchi spaziali e temporali, consentendo un rafforzamento reciproco. Per sfruttare appieno le capacità del modello nella generazione di video di alta qualità, abbiamo curato un ampio dataset video chiamato HD-VG-130M. Questo dataset comprende 130 milioni di coppie testo-video provenienti da domini aperti, garantendo caratteristiche di alta definizione, formato widescreen e assenza di watermark. Metriche oggettive e studi utente dimostrano la superiorità del nostro approccio in termini di qualità per fotogramma, correlazione temporale e allineamento testo-video, con margini significativi.

English

We present VideoFactory, an innovative framework for generating high-quality open-domain videos. VideoFactory excels in producing high-definition (1376x768), widescreen (16:9) videos without watermarks, creating an engaging user experience. Generating videos guided by text instructions poses significant challenges, such as modeling the complex relationship between space and time, and the lack of large-scale text-video paired data. Previous approaches extend pretrained text-to-image generation models by adding temporal 1D convolution/attention modules for video generation. However, these approaches overlook the importance of jointly modeling space and time, inevitably leading to temporal distortions and misalignment between texts and videos. In this paper, we propose a novel approach that strengthens the interaction between spatial and temporal perceptions. In particular, we utilize a swapped cross-attention mechanism in 3D windows that alternates the "query" role between spatial and temporal blocks, enabling mutual reinforcement for each other. To fully unlock model capabilities for high-quality video generation, we curate a large-scale video dataset called HD-VG-130M. This dataset comprises 130 million text-video pairs from the open-domain, ensuring high-definition, widescreen and watermark-free characters. Objective metrics and user studies demonstrate the superiority of our approach in terms of per-frame quality, temporal correlation, and text-video alignment, with clear margins.