Factorized-Dreamer: Обучение высококачественного видеогенератора на ограниченных и низкокачественных данных

Factorized-Dreamer: Training A High-Quality Video Generator with Limited and Low-Quality Data

August 19, 2024

Авторы: Tao Yang, Yangming Shi, Yunwen Huang, Feng Chen, Yin Zheng, Lei Zhang

cs.AI

Аннотация

Генерация видео по тексту (T2V) привлекла значительное внимание благодаря своим широким применениям в создании, редактировании, улучшении и переводе видео и т.д. Однако синтез видео высокого качества (HQ) представляет собой чрезвычайно сложную задачу из-за разнообразных и сложных движений, существующих в реальном мире. Большинство существующих работ сталкиваются с проблемой сбора крупномасштабных видео HQ, к которым сообщество не имеет доступа. В данной работе мы показываем, что общедоступных ограниченных и низкокачественных (LQ) данных достаточно для обучения генератора видео HQ без повторного описания или донастройки. Мы факторизуем весь процесс генерации T2V на два этапа: создание изображения, зависящего от высокоописательного заголовка, и синтез видео, зависящего от созданного изображения и краткого описания движения. В частности, мы представляем Factorized-Dreamer, факторизованную пространственно-временную структуру с несколькими ключевыми конструкциями для генерации T2V, включая адаптер для объединения текстовых и изображенческих вложений, модуль кросс-внимания, учитывающий пиксели для захвата информации на уровне пикселей изображения, текстовый кодировщик T5 для лучшего понимания описания движения и PredictNet для наблюдения за оптическими потоками. Мы также представляем расписание шума, которое играет ключевую роль в обеспечении качества и стабильности генерации видео. Наша модель снижает требования к детальным описаниям и HQ видео и может быть непосредственно обучена на ограниченных LQ наборах данных с шумными и краткими описаниями, такими как WebVid-10M, в значительной степени снижая затраты на сбор крупномасштабных пар видео-текст HQ. Обширные эксперименты в различных задачах T2V и генерации изображения в видео демонстрируют эффективность нашего предложенного Factorized-Dreamer. Наши исходные коды доступны по адресу https://github.com/yangxy/Factorized-Dreamer/.

English

Text-to-video (T2V) generation has gained significant attention due to its wide applications to video generation, editing, enhancement and translation, \etc. However, high-quality (HQ) video synthesis is extremely challenging because of the diverse and complex motions existed in real world. Most existing works struggle to address this problem by collecting large-scale HQ videos, which are inaccessible to the community. In this work, we show that publicly available limited and low-quality (LQ) data are sufficient to train a HQ video generator without recaptioning or finetuning. We factorize the whole T2V generation process into two steps: generating an image conditioned on a highly descriptive caption, and synthesizing the video conditioned on the generated image and a concise caption of motion details. Specifically, we present Factorized-Dreamer, a factorized spatiotemporal framework with several critical designs for T2V generation, including an adapter to combine text and image embeddings, a pixel-aware cross attention module to capture pixel-level image information, a T5 text encoder to better understand motion description, and a PredictNet to supervise optical flows. We further present a noise schedule, which plays a key role in ensuring the quality and stability of video generation. Our model lowers the requirements in detailed captions and HQ videos, and can be directly trained on limited LQ datasets with noisy and brief captions such as WebVid-10M, largely alleviating the cost to collect large-scale HQ video-text pairs. Extensive experiments in a variety of T2V and image-to-video generation tasks demonstrate the effectiveness of our proposed Factorized-Dreamer. Our source codes are available at https://github.com/yangxy/Factorized-Dreamer/.