FreeInit: Cerrando la brecha de inicialización en modelos de difusión de video

FreeInit: Bridging Initialization Gap in Video Diffusion Models

December 12, 2023

Autores: Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu

cs.AI

Resumen

Aunque la generación de videos basada en difusión ha experimentado un rápido progreso, los resultados de inferencia de los modelos existentes aún muestran una consistencia temporal insatisfactoria y dinámicas poco naturales. En este artículo, profundizamos en la inicialización del ruido en los modelos de difusión de video y descubrimos una brecha implícita entre el entrenamiento y la inferencia que contribuye a la calidad insatisfactoria de la inferencia. Nuestros hallazgos clave son: 1) la distribución de frecuencia espacio-temporal del latente inicial en la inferencia es intrínsecamente diferente a la del entrenamiento, y 2) el proceso de eliminación de ruido se ve significativamente influenciado por los componentes de baja frecuencia del ruido inicial. Motivados por estas observaciones, proponemos una estrategia de muestreo de inferencia concisa pero efectiva, FreeInit, que mejora significativamente la consistencia temporal de los videos generados por modelos de difusión. Al refinar iterativamente los componentes de baja frecuencia espacio-temporal del latente inicial durante la inferencia, FreeInit es capaz de compensar la brecha de inicialización entre el entrenamiento y la inferencia, mejorando así efectivamente la apariencia del sujeto y la consistencia temporal de los resultados de generación. Experimentos extensos demuestran que FreeInit mejora consistentemente los resultados de generación de varios modelos de texto a video sin necesidad de entrenamiento adicional.

English

Though diffusion-based video generation has witnessed rapid progress, the inference results of existing models still exhibit unsatisfactory temporal consistency and unnatural dynamics. In this paper, we delve deep into the noise initialization of video diffusion models, and discover an implicit training-inference gap that attributes to the unsatisfactory inference quality. Our key findings are: 1) the spatial-temporal frequency distribution of the initial latent at inference is intrinsically different from that for training, and 2) the denoising process is significantly influenced by the low-frequency components of the initial noise. Motivated by these observations, we propose a concise yet effective inference sampling strategy, FreeInit, which significantly improves temporal consistency of videos generated by diffusion models. Through iteratively refining the spatial-temporal low-frequency components of the initial latent during inference, FreeInit is able to compensate the initialization gap between training and inference, thus effectively improving the subject appearance and temporal consistency of generation results. Extensive experiments demonstrate that FreeInit consistently enhances the generation results of various text-to-video generation models without additional training.