VideoFactory: Ruil Aandacht in Spatiotemporele Diffusies voor Tekst-naar-Video Generatie

VideoFactory: Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation

May 18, 2023

Auteurs: Wenjing Wang, Huan Yang, Zixi Tuo, Huiguo He, Junchen Zhu, Jianlong Fu, Jiaying Liu

cs.AI

Samenvatting

We presenteren VideoFactory, een innovatief framework voor het genereren van hoogwaardige open-domein video's. VideoFactory blinkt uit in het produceren van high-definition (1376x768), breedbeeld (16:9) video's zonder watermerken, wat een boeiende gebruikerservaring creëert. Het genereren van video's die worden gestuurd door tekstinstructies brengt aanzienlijke uitdagingen met zich mee, zoals het modelleren van de complexe relatie tussen ruimte en tijd, en het gebrek aan grootschalige tekst-video gepaarde data. Eerdere benaderingen breiden vooraf getrainde tekst-naar-beeld generatiemodellen uit door tijdelijke 1D-convolutie/aandachtsmodules toe te voegen voor videogeneratie. Deze benaderingen negeren echter het belang van het gezamenlijk modelleren van ruimte en tijd, wat onvermijdelijk leidt tot temporele vervormingen en een verkeerde afstemming tussen teksten en video's. In dit artikel stellen we een nieuwe benadering voor die de interactie tussen ruimtelijke en temporele waarnemingen versterkt. In het bijzonder maken we gebruik van een uitgewisseld kruisaandachtsmechanisme in 3D-vensters dat de "query"-rol afwisselt tussen ruimtelijke en temporele blokken, waardoor ze elkaar wederzijds versterken. Om de mogelijkheden van het model volledig te benutten voor hoogwaardige videogeneratie, hebben we een grootschalige videodataset samengesteld genaamd HD-VG-130M. Deze dataset bestaat uit 130 miljoen tekst-video paren uit het open domein, die gegarandeerd high-definition, breedbeeld en vrij van watermerken zijn. Objectieve metingen en gebruikersstudies tonen de superioriteit van onze benadering aan wat betreft kwaliteit per frame, temporele correlatie en tekst-video afstemming, met duidelijke marges.

English

We present VideoFactory, an innovative framework for generating high-quality open-domain videos. VideoFactory excels in producing high-definition (1376x768), widescreen (16:9) videos without watermarks, creating an engaging user experience. Generating videos guided by text instructions poses significant challenges, such as modeling the complex relationship between space and time, and the lack of large-scale text-video paired data. Previous approaches extend pretrained text-to-image generation models by adding temporal 1D convolution/attention modules for video generation. However, these approaches overlook the importance of jointly modeling space and time, inevitably leading to temporal distortions and misalignment between texts and videos. In this paper, we propose a novel approach that strengthens the interaction between spatial and temporal perceptions. In particular, we utilize a swapped cross-attention mechanism in 3D windows that alternates the "query" role between spatial and temporal blocks, enabling mutual reinforcement for each other. To fully unlock model capabilities for high-quality video generation, we curate a large-scale video dataset called HD-VG-130M. This dataset comprises 130 million text-video pairs from the open-domain, ensuring high-definition, widescreen and watermark-free characters. Objective metrics and user studies demonstrate the superiority of our approach in terms of per-frame quality, temporal correlation, and text-video alignment, with clear margins.