Wan-Animate: Единая анимация и замена персонажей с целостным воспроизведением

Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

September 17, 2025

Авторы: Gang Cheng, Xin Gao, Li Hu, Siqi Hu, Mingyang Huang, Chaonan Ji, Ju Li, Dechao Meng, Jinwei Qi, Penchong Qiao, Zhen Shen, Yafei Song, Ke Sun, Linrui Tian, Feng Wang, Guangyuan Wang, Qi Wang, Zhongjian Wang, Jiayu Xiao, Sheng Xu, Bang Zhang, Peng Zhang, Xindi Zhang, Zhe Zhang, Jingren Zhou, Lian Zhuo

cs.AI

Аннотация

Мы представляем Wan-Animate, унифицированную платформу для анимации и замены персонажей. Получив изображение персонажа и эталонное видео, Wan-Animate может анимировать персонажа, точно воспроизводя его выражения и движения из видео, чтобы создавать высококачественные видеоролики с персонажами. Кроме того, платформа может интегрировать анимированного персонажа в эталонное видео, заменяя оригинального персонажа и воспроизводя освещение и цветовую гамму сцены для достижения бесшовной интеграции в окружение. Wan-Animate основана на модели Wan. Для адаптации к задачам анимации персонажей мы используем модифицированную входную парадигму, которая разделяет эталонные условия и области для генерации. Этот подход объединяет множество задач в единое символическое представление. Мы применяем пространственно выровненные сигналы скелета для воспроизведения движений тела и неявные черты лица, извлеченные из исходных изображений, для воссоздания выражений, что позволяет создавать видеоролики с высокой управляемостью и выразительностью. Кроме того, для улучшения интеграции в окружение при замене персонажа мы разработали вспомогательный модуль Relighting LoRA. Этот модуль сохраняет согласованность внешнего вида персонажа, применяя соответствующее освещение и цветовую гамму окружения. Экспериментальные результаты показывают, что Wan-Animate достигает передовых показателей производительности. Мы намерены открыть исходный код модели и её веса для общедоступного использования.

English

We introduce Wan-Animate, a unified framework for character animation and replacement. Given a character image and a reference video, Wan-Animate can animate the character by precisely replicating the expressions and movements of the character in the video to generate high-fidelity character videos. Alternatively, it can integrate the animated character into the reference video to replace the original character, replicating the scene's lighting and color tone to achieve seamless environmental integration. Wan-Animate is built upon the Wan model. To adapt it for character animation tasks, we employ a modified input paradigm to differentiate between reference conditions and regions for generation. This design unifies multiple tasks into a common symbolic representation. We use spatially-aligned skeleton signals to replicate body motion and implicit facial features extracted from source images to reenact expressions, enabling the generation of character videos with high controllability and expressiveness. Furthermore, to enhance environmental integration during character replacement, we develop an auxiliary Relighting LoRA. This module preserves the character's appearance consistency while applying the appropriate environmental lighting and color tone. Experimental results demonstrate that Wan-Animate achieves state-of-the-art performance. We are committed to open-sourcing the model weights and its source code.