AnimateZero: Video-diffusiemodellen zijn zero-shot beeldanimators

AnimateZero: Video Diffusion Models are Zero-Shot Image Animators

December 6, 2023

Auteurs: Jiwen Yu, Xiaodong Cun, Chenyang Qi, Yong Zhang, Xintao Wang, Ying Shan, Jian Zhang

cs.AI

Samenvatting

Grootschalige tekst-naar-video (T2V) diffusiemodellen hebben de afgelopen jaren aanzienlijke vooruitgang geboekt op het gebied van visuele kwaliteit, beweging en temporele consistentie. Het generatieproces blijft echter een black box, waarbij alle attributen (bijv. uiterlijk, beweging) gezamenlijk worden geleerd en gegenereerd zonder precieze controle, afgezien van ruwe tekstbeschrijvingen. Geïnspireerd door beeldanimatie, waarbij video wordt ontkoppeld in een specifiek uiterlijk en de bijbehorende beweging, stellen we AnimateZero voor om het vooraf getrainde tekst-naar-video diffusiemodel, namelijk AnimateDiff, te onthullen en meer precieze controle over uiterlijk en beweging te bieden. Voor uiterlijkcontrole lenen we tussenliggende latente representaties en hun kenmerken uit de tekst-naar-beeld (T2I) generatie om ervoor te zorgen dat het gegenereerde eerste frame gelijk is aan het gegeven gegenereerde beeld. Voor temporele controle vervangen we de globale temporele aandacht van het originele T2V-model door onze voorgestelde positie-gecorrigeerde venster-aandacht om ervoor te zorgen dat andere frames goed aansluiten bij het eerste frame. Dankzij de voorgestelde methoden kan AnimateZero het generatieproces succesvol controleren zonder verdere training. Als een zero-shot beeldanimator voor gegeven beelden maakt AnimateZero ook meerdere nieuwe toepassingen mogelijk, waaronder interactieve videogeneratie en animatie van echte beelden. Gedetailleerde experimenten demonstreren de effectiviteit van de voorgestelde methode in zowel T2V als gerelateerde toepassingen.

English

Large-scale text-to-video (T2V) diffusion models have great progress in recent years in terms of visual quality, motion and temporal consistency. However, the generation process is still a black box, where all attributes (e.g., appearance, motion) are learned and generated jointly without precise control ability other than rough text descriptions. Inspired by image animation which decouples the video as one specific appearance with the corresponding motion, we propose AnimateZero to unveil the pre-trained text-to-video diffusion model, i.e., AnimateDiff, and provide more precise appearance and motion control abilities for it. For appearance control, we borrow intermediate latents and their features from the text-to-image (T2I) generation for ensuring the generated first frame is equal to the given generated image. For temporal control, we replace the global temporal attention of the original T2V model with our proposed positional-corrected window attention to ensure other frames align with the first frame well. Empowered by the proposed methods, AnimateZero can successfully control the generating progress without further training. As a zero-shot image animator for given images, AnimateZero also enables multiple new applications, including interactive video generation and real image animation. The detailed experiments demonstrate the effectiveness of the proposed method in both T2V and related applications.