OSV: Um Passo é Suficiente para a Geração de Vídeo de Imagem de Alta Qualidade

OSV: One Step is Enough for High-Quality Image to Video Generation

September 17, 2024

Autores: Xiaofeng Mao, Zhengkai Jiang, Fu-Yun Wang, Wenbing Zhu, Jiangning Zhang, Hao Chen, Mingmin Chi, Yabiao Wang

cs.AI

Resumo

Os modelos de difusão de vídeo têm mostrado grande potencial na geração de vídeos de alta qualidade, tornando-os um foco cada vez mais popular. No entanto, sua natureza iterativa inerente resulta em custos computacionais e de tempo substanciais. Embora tenham sido feitos esforços para acelerar a difusão de vídeo reduzindo etapas de inferência (por meio de técnicas como destilação de consistência) e treinamento GAN (essas abordagens frequentemente ficam aquém em desempenho ou estabilidade de treinamento). Neste trabalho, introduzimos um framework de treinamento em duas etapas que combina efetivamente a destilação de consistência com o treinamento GAN para lidar com esses desafios. Além disso, propomos um design inovador de discriminador de vídeo, que elimina a necessidade de decodificar os latentes do vídeo e melhora o desempenho final. Nosso modelo é capaz de produzir vídeos de alta qualidade em apenas uma etapa, com a flexibilidade de realizar refinamento de várias etapas para aprimoramento adicional de desempenho. Nossa avaliação quantitativa no benchmark OpenWebVid-1M mostra que nosso modelo supera significativamente os métodos existentes. Notavelmente, nosso desempenho de uma etapa (FVD 171.15) supera o desempenho de 8 etapas do método baseado em destilação de consistência, AnimateLCM (FVD 184.79), e se aproxima do desempenho de 25 etapas do avançado Stable Video Diffusion (FVD 156.94).

English

Video diffusion models have shown great potential in generating high-quality videos, making them an increasingly popular focus. However, their inherent iterative nature leads to substantial computational and time costs. While efforts have been made to accelerate video diffusion by reducing inference steps (through techniques like consistency distillation) and GAN training (these approaches often fall short in either performance or training stability). In this work, we introduce a two-stage training framework that effectively combines consistency distillation with GAN training to address these challenges. Additionally, we propose a novel video discriminator design, which eliminates the need for decoding the video latents and improves the final performance. Our model is capable of producing high-quality videos in merely one-step, with the flexibility to perform multi-step refinement for further performance enhancement. Our quantitative evaluation on the OpenWebVid-1M benchmark shows that our model significantly outperforms existing methods. Notably, our 1-step performance(FVD 171.15) exceeds the 8-step performance of the consistency distillation based method, AnimateLCM (FVD 184.79), and approaches the 25-step performance of advanced Stable Video Diffusion (FVD 156.94).