VideoFactory: Troca de Atenção em Difusões Espaço-Temporais para Geração de Vídeos a partir de Texto

VideoFactory: Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation

May 18, 2023

Autores: Wenjing Wang, Huan Yang, Zixi Tuo, Huiguo He, Junchen Zhu, Jianlong Fu, Jiaying Liu

cs.AI

Resumo

Apresentamos o VideoFactory, uma estrutura inovadora para a geração de vídeos de alta qualidade em domínio aberto. O VideoFactory se destaca na produção de vídeos em alta definição (1376x768), em formato widescreen (16:9) e sem marcas d'água, proporcionando uma experiência envolvente ao usuário. A geração de vídeos guiada por instruções textuais apresenta desafios significativos, como a modelagem da complexa relação entre espaço e tempo, e a escassez de dados em grande escala de pares texto-vídeo. Abordagens anteriores estendem modelos pré-treinados de geração de texto para imagem, adicionando módulos de convolução/atenção 1D temporal para a geração de vídeos. No entanto, essas abordagens negligenciam a importância da modelagem conjunta de espaço e tempo, resultando inevitavelmente em distorções temporais e desalinhamento entre textos e vídeos. Neste artigo, propomos uma nova abordagem que fortalece a interação entre percepções espaciais e temporais. Especificamente, utilizamos um mecanismo de atenção cruzada alternada em janelas 3D que alterna o papel de "consulta" entre blocos espaciais e temporais, permitindo o reforço mútuo entre eles. Para liberar totalmente as capacidades do modelo na geração de vídeos de alta qualidade, organizamos um grande conjunto de dados de vídeo chamado HD-VG-130M. Esse conjunto de dados compreende 130 milhões de pares texto-vídeo de domínio aberto, garantindo características de alta definição, formato widescreen e ausência de marcas d'água. Métricas objetivas e estudos com usuários demonstram a superioridade de nossa abordagem em termos de qualidade por quadro, correlação temporal e alinhamento texto-vídeo, com margens claras.

English

We present VideoFactory, an innovative framework for generating high-quality open-domain videos. VideoFactory excels in producing high-definition (1376x768), widescreen (16:9) videos without watermarks, creating an engaging user experience. Generating videos guided by text instructions poses significant challenges, such as modeling the complex relationship between space and time, and the lack of large-scale text-video paired data. Previous approaches extend pretrained text-to-image generation models by adding temporal 1D convolution/attention modules for video generation. However, these approaches overlook the importance of jointly modeling space and time, inevitably leading to temporal distortions and misalignment between texts and videos. In this paper, we propose a novel approach that strengthens the interaction between spatial and temporal perceptions. In particular, we utilize a swapped cross-attention mechanism in 3D windows that alternates the "query" role between spatial and temporal blocks, enabling mutual reinforcement for each other. To fully unlock model capabilities for high-quality video generation, we curate a large-scale video dataset called HD-VG-130M. This dataset comprises 130 million text-video pairs from the open-domain, ensuring high-definition, widescreen and watermark-free characters. Objective metrics and user studies demonstrate the superiority of our approach in terms of per-frame quality, temporal correlation, and text-video alignment, with clear margins.