Повторное использование и диффузия: Итеративное удаление шума для генерации видео из текста

Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation

September 7, 2023

Авторы: Jiaxi Gu, Shicong Wang, Haoyu Zhao, Tianyi Lu, Xing Zhang, Zuxuan Wu, Songcen Xu, Wei Zhang, Yu-Gang Jiang, Hang Xu

cs.AI

Аннотация

Вдохновленные впечатляющими успехами латентных диффузионных моделей (LDMs) в синтезе изображений, мы исследуем применение LDM для генерации видео из текста, что представляет собой сложную задачу из-за вычислительных и ресурсных ограничений как при обучении модели, так и при её использовании. Одна LDM обычно способна генерировать лишь очень ограниченное количество кадров видео. Некоторые существующие работы сосредоточены на отдельных моделях предсказания для создания большего числа кадров, однако они страдают от дополнительных затрат на обучение и дрожания на уровне кадров. В данной статье мы предлагаем фреймворк под названием "Reuse and Diffuse" (VidRD), который позволяет генерировать больше кадров, основываясь на уже созданных LDM кадрах. Условившись на начальном видеоклипе с небольшим количеством кадров, дополнительные кадры итеративно генерируются путем повторного использования исходных латентных признаков и следования предыдущему процессу диффузии. Кроме того, для автоэнкодера, используемого для перевода между пространством пикселей и латентным пространством, мы добавляем временные слои в его декодер и дообучаем эти слои для повышения временной согласованности. Мы также предлагаем набор стратегий для составления видео-текстовых данных, включающих разнообразный контент из нескольких существующих наборов данных, включая наборы данных для распознавания действий и наборы данных изображений с текстом. Многочисленные эксперименты показывают, что наш метод демонстрирует хорошие результаты как в количественных, так и в качественных оценках. Страница нашего проекта доступна {здесь}.

English

Inspired by the remarkable success of Latent Diffusion Models (LDMs) for image synthesis, we study LDM for text-to-video generation, which is a formidable challenge due to the computational and memory constraints during both model training and inference. A single LDM is usually only capable of generating a very limited number of video frames. Some existing works focus on separate prediction models for generating more video frames, which suffer from additional training cost and frame-level jittering, however. In this paper, we propose a framework called "Reuse and Diffuse" dubbed VidRD to produce more frames following the frames already generated by an LDM. Conditioned on an initial video clip with a small number of frames, additional frames are iteratively generated by reusing the original latent features and following the previous diffusion process. Besides, for the autoencoder used for translation between pixel space and latent space, we inject temporal layers into its decoder and fine-tune these layers for higher temporal consistency. We also propose a set of strategies for composing video-text data that involve diverse content from multiple existing datasets including video datasets for action recognition and image-text datasets. Extensive experiments show that our method achieves good results in both quantitative and qualitative evaluations. Our project page is available https://anonymous0x233.github.io/ReuseAndDiffuse/{here}.