AnimateZero: Video-Diffusionsmodelle sind Zero-Shot-Bildanimatoren

AnimateZero: Video Diffusion Models are Zero-Shot Image Animators

December 6, 2023

Autoren: Jiwen Yu, Xiaodong Cun, Chenyang Qi, Yong Zhang, Xintao Wang, Ying Shan, Jian Zhang

cs.AI

Zusammenfassung

Groß angelegte Text-zu-Video (T2V) Diffusionsmodelle haben in den letzten Jahren erhebliche Fortschritte in Bezug auf visuelle Qualität, Bewegung und zeitliche Konsistenz gemacht. Der Generierungsprozess bleibt jedoch eine Blackbox, bei der alle Attribute (z.B. Aussehen, Bewegung) gemeinsam gelernt und erzeugt werden, ohne präzise Kontrollmöglichkeiten außer grober Textbeschreibungen. Inspiriert von der Bildanimation, die das Video als ein spezifisches Aussehen mit der entsprechenden Bewegung entkoppelt, schlagen wir AnimateZero vor, um das vortrainierte Text-zu-Video Diffusionsmodell, d.h. AnimateDiff, zu enthüllen und präzisere Kontrollmöglichkeiten für Aussehen und Bewegung bereitzustellen. Für die Kontrolle des Aussehens entlehnen wir Zwischenlatents und deren Merkmale aus der Text-zu-Bild (T2I) Generierung, um sicherzustellen, dass der generierte erste Frame dem gegebenen generierten Bild entspricht. Für die zeitliche Kontrolle ersetzen wir die globale zeitliche Aufmerksamkeit des ursprünglichen T2V-Modells durch unsere vorgeschlagene positionskorrigierte Fensteraufmerksamkeit, um sicherzustellen, dass andere Frames gut mit dem ersten Frame ausgerichtet sind. Durch die vorgeschlagenen Methoden gestärkt, kann AnimateZero den Generierungsprozess erfolgreich steuern, ohne weiteres Training. Als Zero-Shot-Bildanimator für gegebene Bilder ermöglicht AnimateZero auch mehrere neue Anwendungen, einschließlich interaktiver Videogenerierung und Animation echter Bilder. Die detaillierten Experimente demonstrieren die Wirksamkeit der vorgeschlagenen Methode sowohl in T2V als auch in verwandten Anwendungen.

English

Large-scale text-to-video (T2V) diffusion models have great progress in recent years in terms of visual quality, motion and temporal consistency. However, the generation process is still a black box, where all attributes (e.g., appearance, motion) are learned and generated jointly without precise control ability other than rough text descriptions. Inspired by image animation which decouples the video as one specific appearance with the corresponding motion, we propose AnimateZero to unveil the pre-trained text-to-video diffusion model, i.e., AnimateDiff, and provide more precise appearance and motion control abilities for it. For appearance control, we borrow intermediate latents and their features from the text-to-image (T2I) generation for ensuring the generated first frame is equal to the given generated image. For temporal control, we replace the global temporal attention of the original T2V model with our proposed positional-corrected window attention to ensure other frames align with the first frame well. Empowered by the proposed methods, AnimateZero can successfully control the generating progress without further training. As a zero-shot image animator for given images, AnimateZero also enables multiple new applications, including interactive video generation and real image animation. The detailed experiments demonstrate the effectiveness of the proposed method in both T2V and related applications.