VideoFactory: Обмен вниманием в пространственно-временных диффузиях для генерации видео из текста

VideoFactory: Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation

May 18, 2023

Авторы: Wenjing Wang, Huan Yang, Zixi Tuo, Huiguo He, Junchen Zhu, Jianlong Fu, Jiaying Liu

cs.AI

Аннотация

Мы представляем VideoFactory — инновационную платформу для генерации высококачественных видеороликов в открытой предметной области. VideoFactory превосходно создает видео высокой четкости (1376x768) с широкоэкранным форматом (16:9) без водяных знаков, обеспечивая увлекательный пользовательский опыт. Генерация видео, управляемая текстовыми инструкциями, сталкивается с серьезными вызовами, такими как моделирование сложной взаимосвязи между пространством и временем, а также отсутствие крупномасштабных парных данных "текст-видео". Предыдущие подходы расширяют предобученные модели генерации изображений из текста, добавляя временные одномерные сверточные или внимательные модули для создания видео. Однако эти подходы упускают важность совместного моделирования пространства и времени, что неизбежно приводит к временным искажениям и рассогласованию между текстами и видео. В данной работе мы предлагаем новый метод, который усиливает взаимодействие между пространственным и временным восприятием. В частности, мы используем механизм перекрестного внимания с переключением ролей в трехмерных окнах, где "запрос" чередуется между пространственными и временными блоками, что позволяет им взаимно усиливать друг друга. Для полного раскрытия возможностей модели в генерации высококачественных видео мы создали крупномасштабный набор данных под названием HD-VG-130M. Этот набор включает 130 миллионов пар "текст-видео" из открытой предметной области, обеспечивая высокую четкость, широкоэкранный формат и отсутствие водяных знаков. Объективные метрики и пользовательские исследования демонстрируют превосходство нашего подхода в отношении качества отдельных кадров, временной согласованности и соответствия текста и видео с заметным отрывом.

English

We present VideoFactory, an innovative framework for generating high-quality open-domain videos. VideoFactory excels in producing high-definition (1376x768), widescreen (16:9) videos without watermarks, creating an engaging user experience. Generating videos guided by text instructions poses significant challenges, such as modeling the complex relationship between space and time, and the lack of large-scale text-video paired data. Previous approaches extend pretrained text-to-image generation models by adding temporal 1D convolution/attention modules for video generation. However, these approaches overlook the importance of jointly modeling space and time, inevitably leading to temporal distortions and misalignment between texts and videos. In this paper, we propose a novel approach that strengthens the interaction between spatial and temporal perceptions. In particular, we utilize a swapped cross-attention mechanism in 3D windows that alternates the "query" role between spatial and temporal blocks, enabling mutual reinforcement for each other. To fully unlock model capabilities for high-quality video generation, we curate a large-scale video dataset called HD-VG-130M. This dataset comprises 130 million text-video pairs from the open-domain, ensuring high-definition, widescreen and watermark-free characters. Objective metrics and user studies demonstrate the superiority of our approach in terms of per-frame quality, temporal correlation, and text-video alignment, with clear margins.