Wan-Animate: Animação e Substituição Unificada de Personagens com Replicação Holística

Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

September 17, 2025

Autores: Gang Cheng, Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Ju Li, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Feng Wang, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo

cs.AI

Resumo

Apresentamos o Wan-Animate, um framework unificado para animação e substituição de personagens. Dada uma imagem de um personagem e um vídeo de referência, o Wan-Animate pode animar o personagem replicando com precisão as expressões e movimentos do personagem no vídeo, gerando vídeos de personagens de alta fidelidade. Alternativamente, ele pode integrar o personagem animado no vídeo de referência para substituir o personagem original, replicando a iluminação e o tom de cor da cena para alcançar uma integração ambiental perfeita. O Wan-Animate é construído sobre o modelo Wan. Para adaptá-lo às tarefas de animação de personagens, empregamos um paradigma de entrada modificado para diferenciar entre condições de referência e regiões para geração. Esse design unifica múltiplas tarefas em uma representação simbólica comum. Utilizamos sinais de esqueleto alinhados espacialmente para replicar o movimento corporal e características faciais implícitas extraídas das imagens de origem para recriar expressões, permitindo a geração de vídeos de personagens com alta controlabilidade e expressividade. Além disso, para melhorar a integração ambiental durante a substituição de personagens, desenvolvemos um LoRA de Reiluminação auxiliar. Esse módulo preserva a consistência da aparência do personagem enquanto aplica a iluminação ambiental e o tom de cor apropriados. Resultados experimentais demonstram que o Wan-Animate alcança desempenho de ponta. Estamos comprometidos em disponibilizar publicamente os pesos do modelo e seu código-fonte.

English

We introduce Wan-Animate, a unified framework for character animation and replacement. Given a character image and a reference video, Wan-Animate can animate the character by precisely replicating the expressions and movements of the character in the video to generate high-fidelity character videos. Alternatively, it can integrate the animated character into the reference video to replace the original character, replicating the scene's lighting and color tone to achieve seamless environmental integration. Wan-Animate is built upon the Wan model. To adapt it for character animation tasks, we employ a modified input paradigm to differentiate between reference conditions and regions for generation. This design unifies multiple tasks into a common symbolic representation. We use spatially-aligned skeleton signals to replicate body motion and implicit facial features extracted from source images to reenact expressions, enabling the generation of character videos with high controllability and expressiveness. Furthermore, to enhance environmental integration during character replacement, we develop an auxiliary Relighting LoRA. This module preserves the character's appearance consistency while applying the appropriate environmental lighting and color tone. Experimental results demonstrate that Wan-Animate achieves state-of-the-art performance. We are committed to open-sourcing the model weights and its source code.