Wan-Animate：ホリスティックな複製による統一キャラクターアニメーションと置換

Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

September 17, 2025

著者: Gang Cheng, Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Ju Li, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Feng Wang, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo

cs.AI

要旨

Wan-Animateを紹介します。これはキャラクターアニメーションと置換のための統一フレームワークです。キャラクター画像と参照動画が与えられると、Wan-Animateは動画内のキャラクターの表情や動きを精密に再現し、高精細なキャラクター動画を生成することができます。また、アニメーション化されたキャラクターを参照動画に統合し、元のキャラクターを置き換えることも可能で、シーンの照明や色調を再現することで、シームレスな環境統合を実現します。Wan-AnimateはWanモデルを基盤としています。キャラクターアニメーションタスクに適応させるため、参照条件と生成領域を区別するために修正された入力パラダイムを採用しています。この設計により、複数のタスクを共通の記号表現に統一しています。空間的に整列された骨格信号を使用して身体の動きを再現し、ソース画像から抽出された暗黙的な顔の特徴を使用して表情を再現することで、高い制御性と表現力を備えたキャラクター動画を生成します。さらに、キャラクター置換時の環境統合を強化するために、補助的なRelighting LoRAを開発しました。このモジュールは、適切な環境照明と色調を適用しながら、キャラクターの外観の一貫性を保ちます。実験結果は、Wan-Animateが最先端の性能を達成していることを示しています。モデルの重みとソースコードのオープンソース化に取り組んでいます。

English

We introduce Wan-Animate, a unified framework for character animation and replacement. Given a character image and a reference video, Wan-Animate can animate the character by precisely replicating the expressions and movements of the character in the video to generate high-fidelity character videos. Alternatively, it can integrate the animated character into the reference video to replace the original character, replicating the scene's lighting and color tone to achieve seamless environmental integration. Wan-Animate is built upon the Wan model. To adapt it for character animation tasks, we employ a modified input paradigm to differentiate between reference conditions and regions for generation. This design unifies multiple tasks into a common symbolic representation. We use spatially-aligned skeleton signals to replicate body motion and implicit facial features extracted from source images to reenact expressions, enabling the generation of character videos with high controllability and expressiveness. Furthermore, to enhance environmental integration during character replacement, we develop an auxiliary Relighting LoRA. This module preserves the character's appearance consistency while applying the appropriate environmental lighting and color tone. Experimental results demonstrate that Wan-Animate achieves state-of-the-art performance. We are committed to open-sourcing the model weights and its source code.