AnimateZero: Modelli di Diffusione Video sono Animatori di Immagini Zero-Shot

AnimateZero: Video Diffusion Models are Zero-Shot Image Animators

December 6, 2023

Autori: Jiwen Yu, Xiaodong Cun, Chenyang Qi, Yong Zhang, Xintao Wang, Ying Shan, Jian Zhang

cs.AI

Abstract

I modelli di diffusione su larga scala per la generazione di video da testo (text-to-video, T2V) hanno compiuto notevoli progressi negli ultimi anni in termini di qualità visiva, movimento e coerenza temporale. Tuttavia, il processo di generazione rimane ancora una scatola nera, in cui tutti gli attributi (ad esempio, aspetto, movimento) vengono appresi e generati congiuntamente senza un controllo preciso, se non attraverso descrizioni testuali approssimative. Ispirati dall'animazione di immagini, che scompone il video in un aspetto specifico e nel corrispondente movimento, proponiamo AnimateZero per svelare il modello pre-addestrato di generazione video da testo, ovvero AnimateDiff, e fornirgli un controllo più preciso sull'aspetto e sul movimento. Per il controllo dell'aspetto, prendiamo in prestito i latenti intermedi e le loro caratteristiche dalla generazione di immagini da testo (text-to-image, T2I) per garantire che il primo frame generato corrisponda all'immagine data. Per il controllo temporale, sostituiamo l'attenzione temporale globale del modello T2V originale con la nostra proposta di attenzione a finestra corretta posizionalmente, per assicurare che gli altri frame si allineino bene con il primo frame. Grazie ai metodi proposti, AnimateZero può controllare con successo il processo di generazione senza ulteriori addestramenti. Come animatore zero-shot per immagini date, AnimateZero abilita anche nuove applicazioni, tra cui la generazione interattiva di video e l'animazione di immagini reali. Gli esperimenti dettagliati dimostrano l'efficacia del metodo proposto sia nella generazione video da testo che nelle relative applicazioni.

English

Large-scale text-to-video (T2V) diffusion models have great progress in recent years in terms of visual quality, motion and temporal consistency. However, the generation process is still a black box, where all attributes (e.g., appearance, motion) are learned and generated jointly without precise control ability other than rough text descriptions. Inspired by image animation which decouples the video as one specific appearance with the corresponding motion, we propose AnimateZero to unveil the pre-trained text-to-video diffusion model, i.e., AnimateDiff, and provide more precise appearance and motion control abilities for it. For appearance control, we borrow intermediate latents and their features from the text-to-image (T2I) generation for ensuring the generated first frame is equal to the given generated image. For temporal control, we replace the global temporal attention of the original T2V model with our proposed positional-corrected window attention to ensure other frames align with the first frame well. Empowered by the proposed methods, AnimateZero can successfully control the generating progress without further training. As a zero-shot image animator for given images, AnimateZero also enables multiple new applications, including interactive video generation and real image animation. The detailed experiments demonstrate the effectiveness of the proposed method in both T2V and related applications.