AnimateZero: ビデオ拡散モデルによるゼロショット画像アニメーション生成

AnimateZero: Video Diffusion Models are Zero-Shot Image Animators

December 6, 2023

著者: Jiwen Yu, Xiaodong Cun, Chenyang Qi, Yong Zhang, Xintao Wang, Ying Shan, Jian Zhang

cs.AI

要旨

大規模なテキストからビデオ（T2V）生成のための拡散モデルは、近年、視覚的品質、動き、時間的一貫性の面で大きな進歩を遂げています。しかし、生成プロセスは依然としてブラックボックスのままであり、すべての属性（例：外観、動き）が大まかなテキスト記述以外の正確な制御能力なしに同時に学習・生成されています。特定の外観とそれに対応する動きにビデオを分離する画像アニメーションに着想を得て、我々はAnimateZeroを提案し、事前学習済みのテキストからビデオ生成モデル（AnimateDiff）を解明し、より正確な外観と動きの制御能力を提供します。外観制御のため、テキストから画像（T2I）生成の中間潜在変数とその特徴を借用し、生成された最初のフレームが与えられた生成画像と一致することを保証します。時間的制御のため、元のT2Vモデルのグローバルな時間的注意機構を、我々が提案する位置補正ウィンドウ注意機構に置き換え、他のフレームが最初のフレームと適切に整合するようにします。提案手法により、AnimateZeroは追加の学習なしで生成プロセスを成功裏に制御できます。与えられた画像に対するゼロショット画像アニメーターとして、AnimateZeroはインタラクティブなビデオ生成や実画像アニメーションを含む複数の新たな応用を可能にします。詳細な実験により、提案手法のT2Vおよび関連応用における有効性が実証されています。

English

Large-scale text-to-video (T2V) diffusion models have great progress in recent years in terms of visual quality, motion and temporal consistency. However, the generation process is still a black box, where all attributes (e.g., appearance, motion) are learned and generated jointly without precise control ability other than rough text descriptions. Inspired by image animation which decouples the video as one specific appearance with the corresponding motion, we propose AnimateZero to unveil the pre-trained text-to-video diffusion model, i.e., AnimateDiff, and provide more precise appearance and motion control abilities for it. For appearance control, we borrow intermediate latents and their features from the text-to-image (T2I) generation for ensuring the generated first frame is equal to the given generated image. For temporal control, we replace the global temporal attention of the original T2V model with our proposed positional-corrected window attention to ensure other frames align with the first frame well. Empowered by the proposed methods, AnimateZero can successfully control the generating progress without further training. As a zero-shot image animator for given images, AnimateZero also enables multiple new applications, including interactive video generation and real image animation. The detailed experiments demonstrate the effectiveness of the proposed method in both T2V and related applications.