Wan-Animate: Animación y Reemplazo Unificado de Personajes con Replicación Holística

Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

September 17, 2025

Autores: Gang Cheng, Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Ju Li, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Feng Wang, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo

cs.AI

Resumen

Presentamos Wan-Animate, un marco unificado para la animación y sustitución de personajes. Dada una imagen de un personaje y un video de referencia, Wan-Animate puede animar al personaje replicando con precisión las expresiones y movimientos del personaje en el video para generar videos de alta fidelidad. Alternativamente, puede integrar al personaje animado en el video de referencia para reemplazar al personaje original, replicando la iluminación y el tono de color de la escena para lograr una integración ambiental perfecta. Wan-Animate está construido sobre el modelo Wan. Para adaptarlo a tareas de animación de personajes, empleamos un paradigma de entrada modificado para diferenciar entre condiciones de referencia y regiones para generación. Este diseño unifica múltiples tareas en una representación simbólica común. Utilizamos señales de esqueleto alineadas espacialmente para replicar el movimiento corporal y características faciales implícitas extraídas de imágenes fuente para recrear expresiones, permitiendo la generación de videos de personajes con alta controlabilidad y expresividad. Además, para mejorar la integración ambiental durante la sustitución de personajes, desarrollamos un LoRA de Reiluminación auxiliar. Este módulo preserva la consistencia de la apariencia del personaje mientras aplica la iluminación ambiental y el tono de color adecuados. Los resultados experimentales demuestran que Wan-Animate alcanza un rendimiento de vanguardia. Estamos comprometidos con la liberación del código fuente y los pesos del modelo.

English

We introduce Wan-Animate, a unified framework for character animation and replacement. Given a character image and a reference video, Wan-Animate can animate the character by precisely replicating the expressions and movements of the character in the video to generate high-fidelity character videos. Alternatively, it can integrate the animated character into the reference video to replace the original character, replicating the scene's lighting and color tone to achieve seamless environmental integration. Wan-Animate is built upon the Wan model. To adapt it for character animation tasks, we employ a modified input paradigm to differentiate between reference conditions and regions for generation. This design unifies multiple tasks into a common symbolic representation. We use spatially-aligned skeleton signals to replicate body motion and implicit facial features extracted from source images to reenact expressions, enabling the generation of character videos with high controllability and expressiveness. Furthermore, to enhance environmental integration during character replacement, we develop an auxiliary Relighting LoRA. This module preserves the character's appearance consistency while applying the appropriate environmental lighting and color tone. Experimental results demonstrate that Wan-Animate achieves state-of-the-art performance. We are committed to open-sourcing the model weights and its source code.