Wan-Animate: Geünificeerde Karakteranimatie en Vervanging met Holistische Replicatie

Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

September 17, 2025

Auteurs: Gang Cheng, Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Ju Li, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Feng Wang, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo

cs.AI

Samenvatting

We introduceren Wan-Animate, een uniform raamwerk voor karakteranimatie en -vervanging. Gegeven een karakterafbeelding en een referentievideo, kan Wan-Animate het karakter animeren door de uitdrukkingen en bewegingen van het karakter in de video nauwkeurig te repliceren om hoogwaardige karaktervideo's te genereren. Daarnaast kan het de geanimeerde karakter integreren in de referentievideo om het oorspronkelijke karakter te vervangen, waarbij de belichting en kleurtoon van de scène worden gerepliceerd om naadloze omgevingsintegratie te bereiken. Wan-Animate is gebaseerd op het Wan-model. Om het aan te passen voor karakteranimatietaken, gebruiken we een aangepast invoerparadigma om onderscheid te maken tussen referentievoorwaarden en regio's voor generatie. Dit ontwerp verenigt meerdere taken in een gemeenschappelijke symbolische representatie. We gebruiken ruimtelijk uitgelijnde skeletten om lichaamsbewegingen te repliceren en impliciete gezichtskenmerken uit bronafbeeldingen om uitdrukkingen na te bootsen, waardoor het mogelijk wordt om karaktervideo's met hoge bestuurbaarheid en expressiviteit te genereren. Bovendien ontwikkelen we een aanvullende Relighting LoRA om de omgevingsintegratie tijdens karaktervervanging te verbeteren. Deze module behoudt de consistentie van het uiterlijk van het karakter terwijl de juiste omgevingsbelichting en kleurtoon worden toegepast. Experimentele resultaten tonen aan dat Wan-Animate state-of-the-art prestaties bereikt. We zijn vastbesloten om de modelgewichten en de broncode openbaar te maken.

English

We introduce Wan-Animate, a unified framework for character animation and replacement. Given a character image and a reference video, Wan-Animate can animate the character by precisely replicating the expressions and movements of the character in the video to generate high-fidelity character videos. Alternatively, it can integrate the animated character into the reference video to replace the original character, replicating the scene's lighting and color tone to achieve seamless environmental integration. Wan-Animate is built upon the Wan model. To adapt it for character animation tasks, we employ a modified input paradigm to differentiate between reference conditions and regions for generation. This design unifies multiple tasks into a common symbolic representation. We use spatially-aligned skeleton signals to replicate body motion and implicit facial features extracted from source images to reenact expressions, enabling the generation of character videos with high controllability and expressiveness. Furthermore, to enhance environmental integration during character replacement, we develop an auxiliary Relighting LoRA. This module preserves the character's appearance consistency while applying the appropriate environmental lighting and color tone. Experimental results demonstrate that Wan-Animate achieves state-of-the-art performance. We are committed to open-sourcing the model weights and its source code.