AnimateZero: Los Modelos de Difusión de Video son Animadores de Imágenes en Modo Zero-Shot

AnimateZero: Video Diffusion Models are Zero-Shot Image Animators

December 6, 2023

Autores: Jiwen Yu, Xiaodong Cun, Chenyang Qi, Yong Zhang, Xintao Wang, Ying Shan, Jian Zhang

cs.AI

Resumen

Los modelos de difusión de texto a video (T2V) a gran escala han logrado avances significativos en los últimos años en términos de calidad visual, movimiento y consistencia temporal. Sin embargo, el proceso de generación sigue siendo una caja negra, donde todos los atributos (por ejemplo, apariencia, movimiento) se aprenden y generan conjuntamente sin una capacidad de control precisa más allá de descripciones textuales generales. Inspirados por la animación de imágenes, que desacopla el video en una apariencia específica con el movimiento correspondiente, proponemos AnimateZero para desvelar el modelo de difusión de texto a video preentrenado, es decir, AnimateDiff, y proporcionarle capacidades de control más precisas sobre la apariencia y el movimiento. Para el control de la apariencia, tomamos prestados los latentes intermedios y sus características de la generación de texto a imagen (T2I) para asegurar que el primer fotograma generado sea igual a la imagen generada dada. Para el control temporal, reemplazamos la atención temporal global del modelo T2V original con nuestra propuesta de atención de ventana corregida posicionalmente para asegurar que los demás fotogramas se alineen bien con el primer fotograma. Potenciado por los métodos propuestos, AnimateZero puede controlar con éxito el proceso de generación sin necesidad de entrenamiento adicional. Como animador de imágenes de tipo zero-shot para imágenes dadas, AnimateZero también habilita múltiples aplicaciones nuevas, incluyendo la generación interactiva de videos y la animación de imágenes reales. Los experimentos detallados demuestran la efectividad del método propuesto tanto en T2V como en aplicaciones relacionadas.

English

Large-scale text-to-video (T2V) diffusion models have great progress in recent years in terms of visual quality, motion and temporal consistency. However, the generation process is still a black box, where all attributes (e.g., appearance, motion) are learned and generated jointly without precise control ability other than rough text descriptions. Inspired by image animation which decouples the video as one specific appearance with the corresponding motion, we propose AnimateZero to unveil the pre-trained text-to-video diffusion model, i.e., AnimateDiff, and provide more precise appearance and motion control abilities for it. For appearance control, we borrow intermediate latents and their features from the text-to-image (T2I) generation for ensuring the generated first frame is equal to the given generated image. For temporal control, we replace the global temporal attention of the original T2V model with our proposed positional-corrected window attention to ensure other frames align with the first frame well. Empowered by the proposed methods, AnimateZero can successfully control the generating progress without further training. As a zero-shot image animator for given images, AnimateZero also enables multiple new applications, including interactive video generation and real image animation. The detailed experiments demonstrate the effectiveness of the proposed method in both T2V and related applications.