OSV: Один шаг достаточен для генерации видео высокого качества из изображения.

OSV: One Step is Enough for High-Quality Image to Video Generation

September 17, 2024

Авторы: Xiaofeng Mao, Zhengkai Jiang, Fu-Yun Wang, Wenbing Zhu, Jiangning Zhang, Hao Chen, Mingmin Chi, Yabiao Wang

cs.AI

Аннотация

Модели видеодиффузии показали большой потенциал в создании видео высокого качества, что делает их все более популярным объектом изучения. Однако их врожденная итеративная природа приводит к значительным вычислительным и временным затратам. В ходе исследований предпринимались попытки ускорить видеодиффузию путем сокращения шагов вывода (с использованием методов, таких как дистилляция согласованности) и обучения GAN (однако эти подходы часто не обеспечивают достаточной производительности или устойчивости обучения). В данной работе мы представляем двухэтапную структуру обучения, которая эффективно сочетает в себе дистилляцию согласованности и обучение GAN для решения этих проблем. Кроме того, мы предлагаем новый дизайн видеодискриминатора, который устраняет необходимость в декодировании видео латентных представлений и улучшает конечную производительность. Наша модель способна создавать видео высокого качества всего за один шаг, с возможностью выполнения многоэтапного уточнения для дальнейшего улучшения производительности. Наше количественное оценивание на базе данных OpenWebVid-1M показывает, что наша модель значительно превосходит существующие методы. Значительно, наша производительность за один шаг (FVD 171.15) превосходит производительность за 8 шагов метода на основе дистилляции согласованности, AnimateLCM (FVD 184.79), и приближается к производительности за 25 шагов передового метода Stable Video Diffusion (FVD 156.94).

English

Video diffusion models have shown great potential in generating high-quality videos, making them an increasingly popular focus. However, their inherent iterative nature leads to substantial computational and time costs. While efforts have been made to accelerate video diffusion by reducing inference steps (through techniques like consistency distillation) and GAN training (these approaches often fall short in either performance or training stability). In this work, we introduce a two-stage training framework that effectively combines consistency distillation with GAN training to address these challenges. Additionally, we propose a novel video discriminator design, which eliminates the need for decoding the video latents and improves the final performance. Our model is capable of producing high-quality videos in merely one-step, with the flexibility to perform multi-step refinement for further performance enhancement. Our quantitative evaluation on the OpenWebVid-1M benchmark shows that our model significantly outperforms existing methods. Notably, our 1-step performance(FVD 171.15) exceeds the 8-step performance of the consistency distillation based method, AnimateLCM (FVD 184.79), and approaches the 25-step performance of advanced Stable Video Diffusion (FVD 156.94).