Wan-Animate: 통합 캐릭터 애니메이션 및 교체를 위한 전체적 복제 기술

Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

September 17, 2025

저자: Gang Cheng, Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Ju Li, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Feng Wang, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo

cs.AI

초록

우리는 캐릭터 애니메이션 및 교체를 위한 통합 프레임워크인 Wan-Animate를 소개합니다. 캐릭터 이미지와 참조 비디오가 주어지면, Wan-Animate는 비디오 속 캐릭터의 표정과 움직임을 정밀하게 재현하여 고품질의 캐릭터 비디오를 생성할 수 있습니다. 또한, 애니메이션된 캐릭터를 참조 비디오에 통합하여 원래 캐릭터를 대체할 수 있으며, 장면의 조명과 색조를 재현하여 원활한 환경 통합을 달성합니다. Wan-Animate는 Wan 모델을 기반으로 구축되었습니다. 캐릭터 애니메이션 작업에 적합하도록 수정된 입력 패러다임을 사용하여 참조 조건과 생성 영역을 구분합니다. 이 설계는 여러 작업을 공통의 기호 표현으로 통합합니다. 공간적으로 정렬된 골격 신호를 사용하여 신체 움직임을 재현하고, 소스 이미지에서 추출된 암묵적 얼굴 특징을 사용하여 표정을 재현함으로써 높은 제어성과 표현력을 가진 캐릭터 비디오를 생성할 수 있습니다. 또한, 캐릭터 교체 시 환경 통합을 강화하기 위해 보조 Relighting LoRA 모듈을 개발했습니다. 이 모듈은 캐릭터의 외관 일관성을 유지하면서 적절한 환경 조명과 색조를 적용합니다. 실험 결과는 Wan-Animate가 최첨단 성능을 달성함을 보여줍니다. 우리는 모델 가중치와 소스 코드를 오픈소스로 공개할 것을 약속합니다.

English

We introduce Wan-Animate, a unified framework for character animation and replacement. Given a character image and a reference video, Wan-Animate can animate the character by precisely replicating the expressions and movements of the character in the video to generate high-fidelity character videos. Alternatively, it can integrate the animated character into the reference video to replace the original character, replicating the scene's lighting and color tone to achieve seamless environmental integration. Wan-Animate is built upon the Wan model. To adapt it for character animation tasks, we employ a modified input paradigm to differentiate between reference conditions and regions for generation. This design unifies multiple tasks into a common symbolic representation. We use spatially-aligned skeleton signals to replicate body motion and implicit facial features extracted from source images to reenact expressions, enabling the generation of character videos with high controllability and expressiveness. Furthermore, to enhance environmental integration during character replacement, we develop an auxiliary Relighting LoRA. This module preserves the character's appearance consistency while applying the appropriate environmental lighting and color tone. Experimental results demonstrate that Wan-Animate achieves state-of-the-art performance. We are committed to open-sourcing the model weights and its source code.