細粒度ゼロショットビデオサンプリング

Fine-gained Zero-shot Video Sampling

July 31, 2024

著者: Dengsheng Chen, Jie Hu, Xiaoming Wei, Enhua Wu

cs.AI

要旨

事前学習済みの画像拡散モデルに時間次元を組み込んで動画生成を行う手法は広く普及しています。しかし、この方法は計算コストが高く、大規模な動画データセットを必要とします。さらに重要な点として、画像と動画のデータセット間の異質性により、画像に関する専門知識が壊滅的に忘れ去られることがしばしば発生します。最近では、画像拡散モデルから直接動画スニペットを抽出する試みが行われ、これらの問題をある程度緩和しています。それでも、これらの手法では単純な動きしか持たない短い動画クリップしか生成できず、細かい動きやグリッド以外の変形を捉えることができません。本論文では、既存の画像合成手法（例えばStable Diffusion）から、学習や最適化を一切行わずに高品質な動画クリップを直接サンプリングできる新しいZero-Shot動画サンプリングアルゴリズム、ZS^2を提案します。具体的には、ZS^2は依存性ノイズモデルと時間的モーメンタムアテンションをそれぞれ用いて、内容の一貫性とアニメーションの連続性を保証します。この能力により、条件付きや文脈特化型の動画生成、指示に基づく動画編集といった関連タスクにおいて優れた性能を発揮します。実験結果は、ZS^2がゼロショット動画生成において最先端の性能を達成し、時には最近の教師あり手法を上回ることを示しています。 ホームページ: https://densechen.github.io/zss/

English

Incorporating a temporal dimension into pretrained image diffusion models for video generation is a prevalent approach. However, this method is computationally demanding and necessitates large-scale video datasets. More critically, the heterogeneity between image and video datasets often results in catastrophic forgetting of the image expertise. Recent attempts to directly extract video snippets from image diffusion models have somewhat mitigated these problems. Nevertheless, these methods can only generate brief video clips with simple movements and fail to capture fine-grained motion or non-grid deformation. In this paper, we propose a novel Zero-Shot video Sampling algorithm, denoted as ZS^2, capable of directly sampling high-quality video clips from existing image synthesis methods, such as Stable Diffusion, without any training or optimization. Specifically, ZS^2 utilizes the dependency noise model and temporal momentum attention to ensure content consistency and animation coherence, respectively. This ability enables it to excel in related tasks, such as conditional and context-specialized video generation and instruction-guided video editing. Experimental results demonstrate that ZS^2 achieves state-of-the-art performance in zero-shot video generation, occasionally outperforming recent supervised methods. Homepage: https://densechen.github.io/zss/.