AnimateAnything: Animación Consistente y Controlable para la Generación de Video

AnimateAnything: Consistent and Controllable Animation for Video Generation

November 16, 2024

Autores: Guojun Lei, Chi Wang, Hong Li, Rong Zhang, Yikai Wang, Weiwei Xu

cs.AI

Resumen

Presentamos un enfoque unificado de generación de video controlable, AnimateAnything, que facilita la manipulación precisa y consistente de videos en diversas condiciones, incluidas trayectorias de cámara, indicaciones de texto y anotaciones de movimiento del usuario. Específicamente, diseñamos cuidadosamente una red de fusión de características de control multinivel para construir una representación de movimiento común para diferentes condiciones. Convierte explícitamente toda la información de control en flujos ópticos de fotograma a fotograma. Luego incorporamos los flujos ópticos como prioridades de movimiento para guiar la generación final de video. Además, para reducir los problemas de parpadeo causados por movimientos a gran escala, proponemos un módulo de estabilización basado en frecuencia. Puede mejorar la coherencia temporal al garantizar la consistencia en el dominio de frecuencia del video. Los experimentos demuestran que nuestro método supera a los enfoques de vanguardia. Para obtener más detalles y videos, consulte la página web: https://yu-shaonian.github.io/Animate_Anything/.

English

We present a unified controllable video generation approach AnimateAnything that facilitates precise and consistent video manipulation across various conditions, including camera trajectories, text prompts, and user motion annotations. Specifically, we carefully design a multi-scale control feature fusion network to construct a common motion representation for different conditions. It explicitly converts all control information into frame-by-frame optical flows. Then we incorporate the optical flows as motion priors to guide final video generation. In addition, to reduce the flickering issues caused by large-scale motion, we propose a frequency-based stabilization module. It can enhance temporal coherence by ensuring the video's frequency domain consistency. Experiments demonstrate that our method outperforms the state-of-the-art approaches. For more details and videos, please refer to the webpage: https://yu-shaonian.github.io/Animate_Anything/.