FreeInit: Überbrückung der Initialisierungslücke in Video-Diffusionsmodellen

FreeInit: Bridging Initialization Gap in Video Diffusion Models

December 12, 2023

Autoren: Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu

cs.AI

Zusammenfassung

Obwohl die diffusionsbasierte Videogenerierung rasante Fortschritte gemacht hat, zeigen die Inferenzergebnisse bestehender Modelle immer noch unbefriedigende zeitliche Konsistenz und unnatürliche Dynamik. In diesem Artikel untersuchen wir die Rauschinitialisierung von Video-Diffusionsmodellen eingehend und entdecken eine implizite Trainings-Inferenz-Lücke, die für die unbefriedigende Inferenzqualität verantwortlich ist. Unsere zentralen Erkenntnisse sind: 1) Die räumlich-zeitliche Frequenzverteilung des initialen latenten Zustands während der Inferenz unterscheidet sich grundlegend von der während des Trainings, und 2) der Denoising-Prozess wird signifikant durch die niederfrequenten Komponenten des initialen Rauschens beeinflusst. Motiviert durch diese Beobachtungen schlagen wir eine prägnante, aber effektive Inferenz-Sampling-Strategie vor, FreeInit, die die zeitliche Konsistenz von durch Diffusionsmodelle generierten Videos erheblich verbessert. Durch die iterative Verfeinerung der räumlich-zeitlichen niederfrequenten Komponenten des initialen latenten Zustands während der Inferenz ist FreeInit in der Lage, die Initialisierungslücke zwischen Training und Inferenz auszugleichen und dadurch das Erscheinungsbild des Subjekts sowie die zeitliche Konsistenz der Generierungsergebnisse effektiv zu verbessern. Umfangreiche Experimente zeigen, dass FreeInit die Generierungsergebnisse verschiedener Text-zu-Video-Generierungsmodelle konsistent verbessert, ohne zusätzliches Training zu erfordern.

English

Though diffusion-based video generation has witnessed rapid progress, the inference results of existing models still exhibit unsatisfactory temporal consistency and unnatural dynamics. In this paper, we delve deep into the noise initialization of video diffusion models, and discover an implicit training-inference gap that attributes to the unsatisfactory inference quality. Our key findings are: 1) the spatial-temporal frequency distribution of the initial latent at inference is intrinsically different from that for training, and 2) the denoising process is significantly influenced by the low-frequency components of the initial noise. Motivated by these observations, we propose a concise yet effective inference sampling strategy, FreeInit, which significantly improves temporal consistency of videos generated by diffusion models. Through iteratively refining the spatial-temporal low-frequency components of the initial latent during inference, FreeInit is able to compensate the initialization gap between training and inference, thus effectively improving the subject appearance and temporal consistency of generation results. Extensive experiments demonstrate that FreeInit consistently enhances the generation results of various text-to-video generation models without additional training.