TRIP: 画像ノイズ事前分布を活用した時間的残差学習による画像-動画拡散モデル

TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models

March 25, 2024

著者: Zhongwei Zhang, Fuchen Long, Yingwei Pan, Zhaofan Qiu, Ting Yao, Yang Cao, Tao Mei

cs.AI

要旨

テキストからビデオ生成における最近の進展は、強力な拡散モデルの有用性を実証しています。しかしながら、静的な画像をアニメーション化する（つまり、画像からビデオ生成する）ために拡散モデルを形成する問題は、簡単ではありません。この難しさは、後続のアニメーションフレームの拡散プロセスが、与えられた画像との忠実な整合性を保つだけでなく、隣接するフレーム間の時間的整合性も追求しなければならないという点に起因しています。これを緩和するために、我々はTRIPを提案します。これは、静的な画像から導出された画像ノイズ事前分布を軸として、フレーム間の関係推論を共同でトリガーし、時間的残差学習を通じて時間的モデリングを容易にする、新しい画像からビデオ生成の拡散パラダイムのレシピです。技術的には、まず、静的な画像とノイズ化されたビデオ潜在コードに基づいて、1ステップの逆拡散プロセスを通じて画像ノイズ事前分布を取得します。次に、TRIPはノイズ予測のために残差のようなデュアルパススキームを実行します：1）各フレームの参照ノイズとして画像ノイズ事前分布を直接取るショートカットパスで、最初のフレームと後続のフレーム間の整合性を増幅します；2）ノイズ化されたビデオと静的な画像潜在コードに対して3D-UNetを採用する残差パスで、フレーム間の関係推論を可能にし、それによって各フレームの残差ノイズの学習を容易にします。さらに、各フレームの参照ノイズと残差ノイズは、アテンションメカニズムを通じて動的に統合され、最終的なビデオ生成が行われます。WebVid-10M、DTDB、MSR-VTTデータセットでの広範な実験により、我々のTRIPが画像からビデオ生成において有効であることが実証されています。プロジェクトページはhttps://trip-i2v.github.io/TRIP/をご覧ください。

English

Recent advances in text-to-video generation have demonstrated the utility of powerful diffusion models. Nevertheless, the problem is not trivial when shaping diffusion models to animate static image (i.e., image-to-video generation). The difficulty originates from the aspect that the diffusion process of subsequent animated frames should not only preserve the faithful alignment with the given image but also pursue temporal coherence among adjacent frames. To alleviate this, we present TRIP, a new recipe of image-to-video diffusion paradigm that pivots on image noise prior derived from static image to jointly trigger inter-frame relational reasoning and ease the coherent temporal modeling via temporal residual learning. Technically, the image noise prior is first attained through one-step backward diffusion process based on both static image and noised video latent codes. Next, TRIP executes a residual-like dual-path scheme for noise prediction: 1) a shortcut path that directly takes image noise prior as the reference noise of each frame to amplify the alignment between the first frame and subsequent frames; 2) a residual path that employs 3D-UNet over noised video and static image latent codes to enable inter-frame relational reasoning, thereby easing the learning of the residual noise for each frame. Furthermore, both reference and residual noise of each frame are dynamically merged via attention mechanism for final video generation. Extensive experiments on WebVid-10M, DTDB and MSR-VTT datasets demonstrate the effectiveness of our TRIP for image-to-video generation. Please see our project page at https://trip-i2v.github.io/TRIP/.