FantasyPortrait : Amélioration de l'animation de portraits multi-personnages avec des Transformers de Diffusion augmentés d'expressions

FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers

July 17, 2025

papers.authors: Qiang Wang, Mengchao Wang, Fan Jiang, Yaqi Fan, Yonggang Qi, Mu Xu

cs.AI

papers.abstract

Produire des animations faciales expressives à partir d'images statiques est une tâche complexe. Les méthodes antérieures reposant sur des priors géométriques explicites (par exemple, des points de repère faciaux ou des modèles 3DMM) souffrent souvent d'artefacts dans les scénarios de réenactment croisé et peinent à capturer des émotions subtiles. De plus, les approches existantes ne prennent pas en charge l'animation multi-personnages, car les caractéristiques motrices de différents individus interfèrent fréquemment entre elles, compliquant la tâche. Pour relever ces défis, nous proposons FantasyPortrait, un framework basé sur un transformateur de diffusion capable de générer des animations de haute fidélité et riches en émotions pour des scénarios mono- et multi-personnages. Notre méthode introduit une stratégie d'apprentissage augmentée par les expressions qui utilise des représentations implicites pour capturer la dynamique faciale indépendante de l'identité, améliorant ainsi la capacité du modèle à restituer des émotions fines. Pour le contrôle multi-personnages, nous concevons un mécanisme d'attention croisée masquée qui garantit une génération d'expressions indépendante mais coordonnée, empêchant efficacement les interférences de caractéristiques. Pour faire avancer la recherche dans ce domaine, nous proposons le dataset Multi-Expr et ExprBench, des ensembles de données et des benchmarks spécifiquement conçus pour l'entraînement et l'évaluation des animations de portraits multi-personnages. Des expériences approfondies démontrent que FantasyPortrait surpasse significativement les méthodes de pointe à la fois en termes de métriques quantitatives et d'évaluations qualitatives, excellant particulièrement dans les contextes difficiles de réenactment croisé et multi-personnages. Notre page de projet est disponible à l'adresse suivante : https://fantasy-amap.github.io/fantasy-portrait/.

English

Producing expressive facial animations from static images is a challenging task. Prior methods relying on explicit geometric priors (e.g., facial landmarks or 3DMM) often suffer from artifacts in cross reenactment and struggle to capture subtle emotions. Furthermore, existing approaches lack support for multi-character animation, as driving features from different individuals frequently interfere with one another, complicating the task. To address these challenges, we propose FantasyPortrait, a diffusion transformer based framework capable of generating high-fidelity and emotion-rich animations for both single- and multi-character scenarios. Our method introduces an expression-augmented learning strategy that utilizes implicit representations to capture identity-agnostic facial dynamics, enhancing the model's ability to render fine-grained emotions. For multi-character control, we design a masked cross-attention mechanism that ensures independent yet coordinated expression generation, effectively preventing feature interference. To advance research in this area, we propose the Multi-Expr dataset and ExprBench, which are specifically designed datasets and benchmarks for training and evaluating multi-character portrait animations. Extensive experiments demonstrate that FantasyPortrait significantly outperforms state-of-the-art methods in both quantitative metrics and qualitative evaluations, excelling particularly in challenging cross reenactment and multi-character contexts. Our project page is https://fantasy-amap.github.io/fantasy-portrait/.