FreeInit: Colmare il divario di inizializzazione nei modelli di diffusione video

FreeInit: Bridging Initialization Gap in Video Diffusion Models

December 12, 2023

Autori: Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu

cs.AI

Abstract

Sebbene la generazione di video basata su modelli di diffusione abbia registrato rapidi progressi, i risultati di inferenza dei modelli esistenti mostrano ancora una consistenza temporale insoddisfacente e dinamiche innaturali. In questo articolo, approfondiamo l'inizializzazione del rumore nei modelli di diffusione video e scopriamo un divario implicito tra addestramento e inferenza che contribuisce alla qualità insoddisfacente dell'inferenza. Le nostre principali scoperte sono: 1) la distribuzione della frequenza spazio-temporale del latente iniziale durante l'inferenza è intrinsecamente diversa da quella durante l'addestramento, e 2) il processo di denoising è significativamente influenzato dalle componenti a bassa frequenza del rumore iniziale. Motivati da queste osservazioni, proponiamo una strategia di campionamento per l'inferenza concisa ma efficace, chiamata FreeInit, che migliora significativamente la consistenza temporale dei video generati dai modelli di diffusione. Attraverso il raffinamento iterativo delle componenti a bassa frequenza spazio-temporale del latente iniziale durante l'inferenza, FreeInit è in grado di compensare il divario di inizializzazione tra addestramento e inferenza, migliorando così efficacemente l'aspetto del soggetto e la consistenza temporale dei risultati generati. Esperimenti estensivi dimostrano che FreeInit migliora costantemente i risultati di generazione di vari modelli di generazione video da testo senza ulteriore addestramento.

English

Though diffusion-based video generation has witnessed rapid progress, the inference results of existing models still exhibit unsatisfactory temporal consistency and unnatural dynamics. In this paper, we delve deep into the noise initialization of video diffusion models, and discover an implicit training-inference gap that attributes to the unsatisfactory inference quality. Our key findings are: 1) the spatial-temporal frequency distribution of the initial latent at inference is intrinsically different from that for training, and 2) the denoising process is significantly influenced by the low-frequency components of the initial noise. Motivated by these observations, we propose a concise yet effective inference sampling strategy, FreeInit, which significantly improves temporal consistency of videos generated by diffusion models. Through iteratively refining the spatial-temporal low-frequency components of the initial latent during inference, FreeInit is able to compensate the initialization gap between training and inference, thus effectively improving the subject appearance and temporal consistency of generation results. Extensive experiments demonstrate that FreeInit consistently enhances the generation results of various text-to-video generation models without additional training.