ビデオ拡散における時間モデリングの再定義：ベクトル化されたタイムステップアプローチ

Redefining Temporal Modeling in Video Diffusion: The Vectorized Timestep Approach

October 4, 2024

著者: Yaofang Liu, Yumeng Ren, Xiaodong Cun, Aitor Artola, Yang Liu, Tieyong Zeng, Raymond H. Chan, Jean-michel Morel

cs.AI

要旨

拡散モデルは画像生成を革新し、その拡張がビデオ生成にも有望であることが示されています。ただし、現在のビデオ拡散モデル（VDM）は、クリップレベルで適用されるスカラータイムステップ変数に依存しており、これにより画像からビデオへの生成など、さまざまなタスクに必要な複雑な時間依存関係をモデル化する能力が制限されています。この制限に対処するために、私たちはフレームに注意を払ったビデオ拡散モデル（FVDM）を提案します。これは新しいベクトル化されたタイムステップ変数（VTV）を導入しています。従来のVDMとは異なり、私たちのアプローチでは各フレームが独立したノイズスケジュールに従うことができ、細かい時間依存関係を捉えるモデルの能力が向上します。FVDMの柔軟性は、標準的なビデオ生成、画像からビデオ生成、ビデオ補間、長いビデオ合成など、複数のタスクで示されています。多様なVTV構成を通じて、生成されたビデオの品質で優れた成果を達成し、微調整中の壊滅的な忘却やゼロショット手法における限られた汎化能力などの課題を克服しています。私たちの経験的評価は、FVDMがビデオ生成の品質で最先端の手法を上回ることを示し、さらに拡張されたタスクでも優れた成績を収めています。既存のVDMの根本的な欠点に対処することで、FVDMはビデオ合成において新たなパラダイムを確立し、生成モデリングやマルチメディアアプリケーションに重要な影響をもたらす堅牢なフレームワークを提供しています。

English

Diffusion models have revolutionized image generation, and their extension to video generation has shown promise. However, current video diffusion models~(VDMs) rely on a scalar timestep variable applied at the clip level, which limits their ability to model complex temporal dependencies needed for various tasks like image-to-video generation. To address this limitation, we propose a frame-aware video diffusion model~(FVDM), which introduces a novel vectorized timestep variable~(VTV). Unlike conventional VDMs, our approach allows each frame to follow an independent noise schedule, enhancing the model's capacity to capture fine-grained temporal dependencies. FVDM's flexibility is demonstrated across multiple tasks, including standard video generation, image-to-video generation, video interpolation, and long video synthesis. Through a diverse set of VTV configurations, we achieve superior quality in generated videos, overcoming challenges such as catastrophic forgetting during fine-tuning and limited generalizability in zero-shot methods.Our empirical evaluations show that FVDM outperforms state-of-the-art methods in video generation quality, while also excelling in extended tasks. By addressing fundamental shortcomings in existing VDMs, FVDM sets a new paradigm in video synthesis, offering a robust framework with significant implications for generative modeling and multimedia applications.