FreeInit: Reduzindo a Lacuna de Inicialização em Modelos de Difusão de Vídeo

FreeInit: Bridging Initialization Gap in Video Diffusion Models

December 12, 2023

Autores: Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu

cs.AI

Resumo

Embora a geração de vídeos baseada em difusão tenha testemunhado progressos rápidos, os resultados de inferência dos modelos existentes ainda exibem consistência temporal insatisfatória e dinâmicas não naturais. Neste artigo, investigamos profundamente a inicialização de ruído em modelos de difusão de vídeo e descobrimos uma lacuna implícita entre treinamento e inferência que contribui para a qualidade insatisfatória da inferência. Nossas principais descobertas são: 1) a distribuição de frequência espaço-temporal do latente inicial na inferência é intrinsecamente diferente daquela usada no treinamento, e 2) o processo de remoção de ruído é significativamente influenciado pelos componentes de baixa frequência do ruído inicial. Motivados por essas observações, propomos uma estratégia de amostragem de inferência concisa, porém eficaz, chamada FreeInit, que melhora significativamente a consistência temporal dos vídeos gerados por modelos de difusão. Ao refinar iterativamente os componentes de baixa frequência espaço-temporal do latente inicial durante a inferência, o FreeInit é capaz de compensar a lacuna de inicialização entre treinamento e inferência, melhorando efetivamente a aparência do sujeito e a consistência temporal dos resultados gerados. Experimentos extensivos demonstram que o FreeInit melhora consistentemente os resultados de geração de diversos modelos de geração de texto para vídeo sem a necessidade de treinamento adicional.

English

Though diffusion-based video generation has witnessed rapid progress, the inference results of existing models still exhibit unsatisfactory temporal consistency and unnatural dynamics. In this paper, we delve deep into the noise initialization of video diffusion models, and discover an implicit training-inference gap that attributes to the unsatisfactory inference quality. Our key findings are: 1) the spatial-temporal frequency distribution of the initial latent at inference is intrinsically different from that for training, and 2) the denoising process is significantly influenced by the low-frequency components of the initial noise. Motivated by these observations, we propose a concise yet effective inference sampling strategy, FreeInit, which significantly improves temporal consistency of videos generated by diffusion models. Through iteratively refining the spatial-temporal low-frequency components of the initial latent during inference, FreeInit is able to compensate the initialization gap between training and inference, thus effectively improving the subject appearance and temporal consistency of generation results. Extensive experiments demonstrate that FreeInit consistently enhances the generation results of various text-to-video generation models without additional training.