FantasyPortrait: Verbetering van Multi-Karakter Portretanimatie met Expressie-versterkte Diffusie Transformers

FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers

July 17, 2025

Auteurs: Qiang Wang, Mengchao Wang, Fan Jiang, Yaqi Fan, Yonggang Qi, Mu Xu

cs.AI

Samenvatting

Het produceren van expressieve gezichtsanimaties vanuit statische afbeeldingen is een uitdagende taak. Bestaande methoden die vertrouwen op expliciete geometrische priors (bijvoorbeeld gezichtslandmarken of 3DMM) lijden vaak onder artefacten bij cross-reenactment en hebben moeite met het vastleggen van subtiele emoties. Bovendien bieden bestaande benaderingen geen ondersteuning voor multi-character animatie, omdat sturende kenmerken van verschillende individuen elkaar vaak verstoren, wat de taak bemoeilijkt. Om deze uitdagingen aan te pakken, stellen we FantasyPortrait voor, een op diffusie-transformers gebaseerd framework dat in staat is om hoogwaardige en emotierijke animaties te genereren voor zowel single- als multi-character scenario's. Onze methode introduceert een expressie-augmented leerstrategie die gebruikmaakt van impliciete representaties om identiteits-agnostische gezichtsdynamiek vast te leggen, waardoor het vermogen van het model om fijnmazige emoties weer te geven wordt verbeterd. Voor multi-character controle ontwerpen we een gemaskeerd cross-attention mechanisme dat onafhankelijke maar gecoördineerde expressiegeneratie garandeert, waardoor kenmerkinterferentie effectief wordt voorkomen. Om onderzoek op dit gebied te bevorderen, stellen we de Multi-Expr dataset en ExprBench voor, specifiek ontworpen datasets en benchmarks voor het trainen en evalueren van multi-character portretanimaties. Uitgebreide experimenten tonen aan dat FantasyPortrait aanzienlijk beter presteert dan state-of-the-art methoden in zowel kwantitatieve metingen als kwalitatieve evaluaties, met name in uitdagende cross-reenactment en multi-character contexten. Onze projectpagina is te vinden op https://fantasy-amap.github.io/fantasy-portrait/.

English

Producing expressive facial animations from static images is a challenging task. Prior methods relying on explicit geometric priors (e.g., facial landmarks or 3DMM) often suffer from artifacts in cross reenactment and struggle to capture subtle emotions. Furthermore, existing approaches lack support for multi-character animation, as driving features from different individuals frequently interfere with one another, complicating the task. To address these challenges, we propose FantasyPortrait, a diffusion transformer based framework capable of generating high-fidelity and emotion-rich animations for both single- and multi-character scenarios. Our method introduces an expression-augmented learning strategy that utilizes implicit representations to capture identity-agnostic facial dynamics, enhancing the model's ability to render fine-grained emotions. For multi-character control, we design a masked cross-attention mechanism that ensures independent yet coordinated expression generation, effectively preventing feature interference. To advance research in this area, we propose the Multi-Expr dataset and ExprBench, which are specifically designed datasets and benchmarks for training and evaluating multi-character portrait animations. Extensive experiments demonstrate that FantasyPortrait significantly outperforms state-of-the-art methods in both quantitative metrics and qualitative evaluations, excelling particularly in challenging cross reenactment and multi-character contexts. Our project page is https://fantasy-amap.github.io/fantasy-portrait/.