VideoCrafter2: Преодоление ограничений данных для создания высококачественных видео с использованием моделей диффузии

VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models

January 17, 2024

Авторы: Haoxin Chen, Yong Zhang, Xiaodong Cun, Menghan Xia, Xintao Wang, Chao Weng, Ying Shan

cs.AI

Аннотация

Генерация видео по текстовому описанию направлена на создание видео на основе заданного запроса. В последнее время несколько коммерческих моделей для создания видео смогли генерировать правдоподобные видео с минимальным уровнем шума, отличной детализацией и высокими эстетическими показателями. Однако эти модели полагаются на масштабные, тщательно отфильтрованные и высококачественные видеоданные, которые недоступны для широкого сообщества. Многие существующие исследования, которые обучают модели на низкокачественном наборе данных WebVid-10M, сталкиваются с трудностями в создании высококачественных видео, поскольку модели оптимизированы для работы с WebVid-10M. В данной работе мы исследуем схему обучения видеомоделей, расширенных на основе Stable Diffusion, и изучаем возможность использования низкокачественных видео и синтезированных высококачественных изображений для получения высококачественной видеомодели. Сначала мы анализируем связь между пространственными и временными модулями видеомоделей и сдвигом распределения в сторону низкокачественных видео. Мы наблюдаем, что полное обучение всех модулей приводит к более сильной связи между пространственными и временными модулями по сравнению с обучением только временных модулей. На основе этой более сильной связи мы смещаем распределение в сторону более высокого качества без ухудшения движения, дообучая пространственные модули на высококачественных изображениях, что позволяет получить универсальную высококачественную видеомодель. Проведенные оценки демонстрируют превосходство предложенного метода, особенно в качестве изображений, движении и композиции концепций.

English

Text-to-video generation aims to produce a video based on a given prompt. Recently, several commercial video models have been able to generate plausible videos with minimal noise, excellent details, and high aesthetic scores. However, these models rely on large-scale, well-filtered, high-quality videos that are not accessible to the community. Many existing research works, which train models using the low-quality WebVid-10M dataset, struggle to generate high-quality videos because the models are optimized to fit WebVid-10M. In this work, we explore the training scheme of video models extended from Stable Diffusion and investigate the feasibility of leveraging low-quality videos and synthesized high-quality images to obtain a high-quality video model. We first analyze the connection between the spatial and temporal modules of video models and the distribution shift to low-quality videos. We observe that full training of all modules results in a stronger coupling between spatial and temporal modules than only training temporal modules. Based on this stronger coupling, we shift the distribution to higher quality without motion degradation by finetuning spatial modules with high-quality images, resulting in a generic high-quality video model. Evaluations are conducted to demonstrate the superiority of the proposed method, particularly in picture quality, motion, and concept composition.