FreeInit: ビデオ拡散モデルにおける初期化ギャップの解消

FreeInit: Bridging Initialization Gap in Video Diffusion Models

December 12, 2023

著者: Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu

cs.AI

要旨

拡散モデルに基づく動画生成は急速な進歩を遂げているものの、既存モデルの推論結果は依然として時間的な一貫性に欠け、不自然なダイナミクスを示すことが課題となっている。本論文では、動画拡散モデルのノイズ初期化について深く掘り下げ、推論品質の不満足さに寄与する暗黙の訓練-推論ギャップを発見した。主な発見は以下の2点である：1）推論時の初期潜在変数の時空間周波数分布は、訓練時のそれと本質的に異なること、2）ノイズ除去プロセスは初期ノイズの低周波成分に大きく影響を受けること。これらの観察に基づき、我々は簡潔でありながら効果的な推論サンプリング戦略「FreeInit」を提案する。FreeInitは、推論中に初期潜在変数の時空間低周波成分を反復的に洗練することで、訓練と推論の間の初期化ギャップを補償し、生成結果の被写体の外観と時間的一貫性を効果的に改善する。大規模な実験により、FreeInitが追加の訓練なしに様々なテキストから動画を生成するモデルの生成結果を一貫して向上させることが実証された。

English

Though diffusion-based video generation has witnessed rapid progress, the inference results of existing models still exhibit unsatisfactory temporal consistency and unnatural dynamics. In this paper, we delve deep into the noise initialization of video diffusion models, and discover an implicit training-inference gap that attributes to the unsatisfactory inference quality. Our key findings are: 1) the spatial-temporal frequency distribution of the initial latent at inference is intrinsically different from that for training, and 2) the denoising process is significantly influenced by the low-frequency components of the initial noise. Motivated by these observations, we propose a concise yet effective inference sampling strategy, FreeInit, which significantly improves temporal consistency of videos generated by diffusion models. Through iteratively refining the spatial-temporal low-frequency components of the initial latent during inference, FreeInit is able to compensate the initialization gap between training and inference, thus effectively improving the subject appearance and temporal consistency of generation results. Extensive experiments demonstrate that FreeInit consistently enhances the generation results of various text-to-video generation models without additional training.