AnimateZero : Les modèles de diffusion vidéo sont des animateurs d'images en contexte zero-shot

AnimateZero: Video Diffusion Models are Zero-Shot Image Animators

December 6, 2023

Auteurs: Jiwen Yu, Xiaodong Cun, Chenyang Qi, Yong Zhang, Xintao Wang, Ying Shan, Jian Zhang

cs.AI

Résumé

Les modèles de diffusion texte-vidéo (T2V) à grande échelle ont réalisé des progrès significatifs ces dernières années en termes de qualité visuelle, de mouvement et de cohérence temporelle. Cependant, le processus de génération reste une boîte noire, où tous les attributs (par exemple, l'apparence, le mouvement) sont appris et générés conjointement sans capacité de contrôle précise, à part des descriptions textuelles approximatives. Inspirés par l'animation d'images, qui découple la vidéo en une apparence spécifique et un mouvement correspondant, nous proposons AnimateZero pour dévoiler le modèle de diffusion texte-vidéo pré-entraîné, AnimateDiff, et lui offrir des capacités de contrôle plus précises sur l'apparence et le mouvement. Pour le contrôle de l'apparence, nous empruntons les latents intermédiaires et leurs caractéristiques issues de la génération texte-image (T2I) afin de garantir que la première image générée corresponde à l'image donnée. Pour le contrôle temporel, nous remplaçons l'attention temporelle globale du modèle T2V original par notre attention fenêtrée corrigée en position, afin d'assurer que les autres images s'alignent correctement avec la première image. Grâce aux méthodes proposées, AnimateZero peut contrôler avec succès le processus de génération sans nécessiter d'entraînement supplémentaire. En tant qu'animateur d'images zero-shot pour des images données, AnimateZero permet également de nouvelles applications, notamment la génération interactive de vidéos et l'animation d'images réelles. Les expériences détaillées démontrent l'efficacité de la méthode proposée dans les applications T2V et connexes.

English

Large-scale text-to-video (T2V) diffusion models have great progress in recent years in terms of visual quality, motion and temporal consistency. However, the generation process is still a black box, where all attributes (e.g., appearance, motion) are learned and generated jointly without precise control ability other than rough text descriptions. Inspired by image animation which decouples the video as one specific appearance with the corresponding motion, we propose AnimateZero to unveil the pre-trained text-to-video diffusion model, i.e., AnimateDiff, and provide more precise appearance and motion control abilities for it. For appearance control, we borrow intermediate latents and their features from the text-to-image (T2I) generation for ensuring the generated first frame is equal to the given generated image. For temporal control, we replace the global temporal attention of the original T2V model with our proposed positional-corrected window attention to ensure other frames align with the first frame well. Empowered by the proposed methods, AnimateZero can successfully control the generating progress without further training. As a zero-shot image animator for given images, AnimateZero also enables multiple new applications, including interactive video generation and real image animation. The detailed experiments demonstrate the effectiveness of the proposed method in both T2V and related applications.