Wan-Animate: Vereinheitlichte Charakteranimation und -ersetzung mit ganzheitlicher Replikation

Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

September 17, 2025

papers.authors: Gang Cheng, Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Ju Li, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Feng Wang, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo

cs.AI

papers.abstract

Wir stellen Wan-Animate vor, ein einheitliches Framework für Charakteranimation und -ersetzung. Gegeben ein Charakterbild und ein Referenzvideo kann Wan-Animate den Charakter animieren, indem es die Ausdrücke und Bewegungen des Charakters im Video präzise nachahmt, um hochwertige Charaktervideos zu erzeugen. Alternativ kann es den animierten Charakter in das Referenzvideo integrieren, um den ursprünglichen Charakter zu ersetzen, wobei die Beleuchtung und der Farbton der Szene nachgebildet werden, um eine nahtlose Integration in die Umgebung zu erreichen. Wan-Animate basiert auf dem Wan-Modell. Um es für Charakteranimationsaufgaben anzupassen, verwenden wir ein modifiziertes Eingabeparadigma, um zwischen Referenzbedingungen und zu generierenden Regionen zu unterscheiden. Dieses Design vereint mehrere Aufgaben in einer gemeinsamen symbolischen Darstellung. Wir verwenden räumlich ausgerichtete Skelettsignale, um Körperbewegungen nachzuahmen, und implizite Gesichtsmerkmale, die aus den Quellbildern extrahiert werden, um Ausdrücke nachzustellen, was die Erzeugung von Charaktervideos mit hoher Steuerbarkeit und Ausdruckskraft ermöglicht. Darüber hinaus entwickeln wir zur Verbesserung der Umgebungsintegration bei der Charakterersetzung ein zusätzliches Relighting-LoRA. Dieses Modul bewahrt die Erscheinungskonsistenz des Charakters, während es die passende Umgebungsbeleuchtung und den Farbton anwendet. Experimentelle Ergebnisse zeigen, dass Wan-Animate state-of-the-art Leistung erzielt. Wir sind bestrebt, die Modellgewichte und den Quellcode zu veröffentlichen.

English

We introduce Wan-Animate, a unified framework for character animation and replacement. Given a character image and a reference video, Wan-Animate can animate the character by precisely replicating the expressions and movements of the character in the video to generate high-fidelity character videos. Alternatively, it can integrate the animated character into the reference video to replace the original character, replicating the scene's lighting and color tone to achieve seamless environmental integration. Wan-Animate is built upon the Wan model. To adapt it for character animation tasks, we employ a modified input paradigm to differentiate between reference conditions and regions for generation. This design unifies multiple tasks into a common symbolic representation. We use spatially-aligned skeleton signals to replicate body motion and implicit facial features extracted from source images to reenact expressions, enabling the generation of character videos with high controllability and expressiveness. Furthermore, to enhance environmental integration during character replacement, we develop an auxiliary Relighting LoRA. This module preserves the character's appearance consistency while applying the appropriate environmental lighting and color tone. Experimental results demonstrate that Wan-Animate achieves state-of-the-art performance. We are committed to open-sourcing the model weights and its source code.