Wan-Animate : Animation et Remplacement Unifiés de Personnages avec Réplication Holistique

papers.abstract

Nous présentons Wan-Animate, un cadre unifié pour l'animation et le remplacement de personnages. Étant donné une image de personnage et une vidéo de référence, Wan-Animate peut animer le personnage en reproduisant précisément les expressions et les mouvements du personnage dans la vidéo pour générer des vidéos de personnages de haute fidélité. Alternativement, il peut intégrer le personnage animé dans la vidéo de référence pour remplacer le personnage original, en reproduisant l'éclairage et la tonalité de couleur de la scène pour parvenir à une intégration environnementale fluide. Wan-Animate est construit sur le modèle Wan. Pour l'adapter aux tâches d'animation de personnages, nous utilisons un paradigme d'entrée modifié pour différencier les conditions de référence et les zones de génération. Cette conception unifie plusieurs tâches en une représentation symbolique commune. Nous utilisons des signaux de squelette spatialement alignés pour reproduire les mouvements du corps et des caractéristiques faciales implicites extraites des images sources pour recréer les expressions, permettant ainsi la génération de vidéos de personnages avec une grande contrôlabilité et expressivité. De plus, pour améliorer l'intégration environnementale lors du remplacement de personnages, nous développons un LoRA de rééclairage auxiliaire. Ce module préserve la cohérence de l'apparence du personnage tout en appliquant l'éclairage et la tonalité de couleur environnementaux appropriés. Les résultats expérimentaux démontrent que Wan-Animate atteint des performances de pointe. Nous nous engageons à ouvrir les poids du modèle et son code source.

English

We introduce Wan-Animate, a unified framework for character animation and replacement. Given a character image and a reference video, Wan-Animate can animate the character by precisely replicating the expressions and movements of the character in the video to generate high-fidelity character videos. Alternatively, it can integrate the animated character into the reference video to replace the original character, replicating the scene's lighting and color tone to achieve seamless environmental integration. Wan-Animate is built upon the Wan model. To adapt it for character animation tasks, we employ a modified input paradigm to differentiate between reference conditions and regions for generation. This design unifies multiple tasks into a common symbolic representation. We use spatially-aligned skeleton signals to replicate body motion and implicit facial features extracted from source images to reenact expressions, enabling the generation of character videos with high controllability and expressiveness. Furthermore, to enhance environmental integration during character replacement, we develop an auxiliary Relighting LoRA. This module preserves the character's appearance consistency while applying the appropriate environmental lighting and color tone. Experimental results demonstrate that Wan-Animate achieves state-of-the-art performance. We are committed to open-sourcing the model weights and its source code.

Wan-Animate : Animation et Remplacement Unifiés de Personnages avec Réplication Holistique

Wan-Animate: Unified Character Animation and Replacement with Holistic Replication

papers.abstract

Support