FreeInit : Combler le fossé d'initialisation dans les modèles de diffusion vidéo

FreeInit: Bridging Initialization Gap in Video Diffusion Models

December 12, 2023

Auteurs: Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu

cs.AI

Résumé

Bien que la génération de vidéos basée sur la diffusion ait connu des progrès rapides, les résultats d'inférence des modèles existants présentent encore une cohérence temporelle insatisfaisante et des dynamiques peu naturelles. Dans cet article, nous explorons en profondeur l'initialisation du bruit dans les modèles de diffusion vidéo et découvrons un écart implicite entre l'entraînement et l'inférence qui explique la qualité d'inférence insatisfaisante. Nos principales découvertes sont : 1) la distribution des fréquences spatio-temporelles du latent initial lors de l'inférence est intrinsèquement différente de celle utilisée pendant l'entraînement, et 2) le processus de débruitage est significativement influencé par les composantes basse fréquence du bruit initial. Motivés par ces observations, nous proposons une stratégie d'échantillonnage d'inférence concise mais efficace, FreeInit, qui améliore considérablement la cohérence temporelle des vidéos générées par les modèles de diffusion. En affinant itérativement les composantes basse fréquence spatio-temporelles du latent initial pendant l'inférence, FreeInit est capable de compenser l'écart d'initialisation entre l'entraînement et l'inférence, améliorant ainsi efficacement l'apparence du sujet et la cohérence temporelle des résultats de génération. Des expériences approfondies démontrent que FreeInit améliore de manière constante les résultats de génération de divers modèles de génération de texte-à-vidéo sans nécessiter d'entraînement supplémentaire.

English

Though diffusion-based video generation has witnessed rapid progress, the inference results of existing models still exhibit unsatisfactory temporal consistency and unnatural dynamics. In this paper, we delve deep into the noise initialization of video diffusion models, and discover an implicit training-inference gap that attributes to the unsatisfactory inference quality. Our key findings are: 1) the spatial-temporal frequency distribution of the initial latent at inference is intrinsically different from that for training, and 2) the denoising process is significantly influenced by the low-frequency components of the initial noise. Motivated by these observations, we propose a concise yet effective inference sampling strategy, FreeInit, which significantly improves temporal consistency of videos generated by diffusion models. Through iteratively refining the spatial-temporal low-frequency components of the initial latent during inference, FreeInit is able to compensate the initialization gap between training and inference, thus effectively improving the subject appearance and temporal consistency of generation results. Extensive experiments demonstrate that FreeInit consistently enhances the generation results of various text-to-video generation models without additional training.