FreeInit: Het overbruggen van de initialisatiekloof in videodiffusiemodellen

FreeInit: Bridging Initialization Gap in Video Diffusion Models

December 12, 2023

Auteurs: Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu

cs.AI

Samenvatting

Hoewel op diffusie gebaseerde videogeneratie snelle vooruitgang heeft geboekt, vertonen de inferentieresultaten van bestaande modellen nog steeds onbevredigende temporele consistentie en onnatuurlijke dynamiek. In dit artikel duiken we diep in de ruisinitialisatie van videodiffusiemodellen en ontdekken we een impliciete kloof tussen training en inferentie die bijdraagt aan de onbevredigende inferentiekwaliteit. Onze belangrijkste bevindingen zijn: 1) de ruimtelijk-temporele frequentieverdeling van de initiële latentie tijdens inferentie is intrinsiek anders dan die tijdens training, en 2) het ruisverwijderingsproces wordt aanzienlijk beïnvloed door de lagefrequentiecomponenten van de initiële ruis. Gemotiveerd door deze observaties stellen we een beknopte maar effectieve inferentie-samplingstrategie voor, FreeInit, die de temporele consistentie van door diffusiemodellen gegenereerde video's aanzienlijk verbetert. Door de ruimtelijk-temporele lagefrequentiecomponenten van de initiële latentie tijdens inferentie iteratief te verfijnen, is FreeInit in staat om de initialisatiekloof tussen training en inferentie te compenseren, waardoor het uiterlijk van het onderwerp en de temporele consistentie van de generatieresultaten effectief worden verbeterd. Uitgebreide experimenten tonen aan dat FreeInit de generatieresultaten van verschillende tekst-naar-video-generatiemodellen consistent verbetert zonder aanvullende training.

English

Though diffusion-based video generation has witnessed rapid progress, the inference results of existing models still exhibit unsatisfactory temporal consistency and unnatural dynamics. In this paper, we delve deep into the noise initialization of video diffusion models, and discover an implicit training-inference gap that attributes to the unsatisfactory inference quality. Our key findings are: 1) the spatial-temporal frequency distribution of the initial latent at inference is intrinsically different from that for training, and 2) the denoising process is significantly influenced by the low-frequency components of the initial noise. Motivated by these observations, we propose a concise yet effective inference sampling strategy, FreeInit, which significantly improves temporal consistency of videos generated by diffusion models. Through iteratively refining the spatial-temporal low-frequency components of the initial latent during inference, FreeInit is able to compensate the initialization gap between training and inference, thus effectively improving the subject appearance and temporal consistency of generation results. Extensive experiments demonstrate that FreeInit consistently enhances the generation results of various text-to-video generation models without additional training.