OSV: Un Solo Passaggio è Sufficiente per la Generazione di Video di Alta Qualità da Immagini

OSV: One Step is Enough for High-Quality Image to Video Generation

September 17, 2024

Autori: Xiaofeng Mao, Zhengkai Jiang, Fu-Yun Wang, Wenbing Zhu, Jiangning Zhang, Hao Chen, Mingmin Chi, Yabiao Wang

cs.AI

Abstract

I modelli di diffusione video hanno dimostrato un grande potenziale nella generazione di video di alta qualità, rendendoli un focus sempre più popolare. Tuttavia, la loro natura iterativa porta a notevoli costi computazionali e temporali. Sebbene siano stati fatti sforzi per accelerare la diffusione video riducendo i passaggi di inferenza (attraverso tecniche come la distillazione della coerenza) e l'addestramento GAN (questi approcci spesso non raggiungono prestazioni stabili o di addestramento). In questo lavoro, introduciamo un framework di addestramento a due fasi che combina efficacemente la distillazione della coerenza con l'addestramento GAN per affrontare queste sfide. Inoltre, proponiamo un nuovo design di discriminatore video, che elimina la necessità di decodificare i latenti video e migliora le prestazioni finali. Il nostro modello è in grado di produrre video di alta qualità in un solo passaggio, con la flessibilità di eseguire un perfezionamento a più passaggi per ulteriori miglioramenti delle prestazioni. La nostra valutazione quantitativa sul benchmark OpenWebVid-1M mostra che il nostro modello supera significativamente i metodi esistenti. In particolare, le nostre prestazioni a 1 passaggio (FVD 171.15) superano le prestazioni a 8 passaggi del metodo basato sulla distillazione della coerenza, AnimateLCM (FVD 184.79), e si avvicinano alle prestazioni a 25 passaggi dell'avanzato Stable Video Diffusion (FVD 156.94).

English

Video diffusion models have shown great potential in generating high-quality videos, making them an increasingly popular focus. However, their inherent iterative nature leads to substantial computational and time costs. While efforts have been made to accelerate video diffusion by reducing inference steps (through techniques like consistency distillation) and GAN training (these approaches often fall short in either performance or training stability). In this work, we introduce a two-stage training framework that effectively combines consistency distillation with GAN training to address these challenges. Additionally, we propose a novel video discriminator design, which eliminates the need for decoding the video latents and improves the final performance. Our model is capable of producing high-quality videos in merely one-step, with the flexibility to perform multi-step refinement for further performance enhancement. Our quantitative evaluation on the OpenWebVid-1M benchmark shows that our model significantly outperforms existing methods. Notably, our 1-step performance(FVD 171.15) exceeds the 8-step performance of the consistency distillation based method, AnimateLCM (FVD 184.79), and approaches the 25-step performance of advanced Stable Video Diffusion (FVD 156.94).