FantasyPortrait: Potenziamento dell'Animazione di Ritratti Multi-Personaggio con Transformers a Diffusione Aumentati dall'Espressione
FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers
July 17, 2025
Autori: Qiang Wang, Mengchao Wang, Fan Jiang, Yaqi Fan, Yonggang Qi, Mu Xu
cs.AI
Abstract
Generare animazioni facciali espressive a partire da immagini statiche è un compito complesso. I metodi precedenti che si basano su prior geometriche esplicite (ad esempio, punti di riferimento facciali o 3DMM) spesso presentano artefatti nel reenactment incrociato e faticano a catturare emozioni sottili. Inoltre, gli approcci esistenti non supportano l'animazione multi-personaggio, poiché le caratteristiche di guida provenienti da individui diversi interferiscono frequentemente tra loro, complicando il compito. Per affrontare queste sfide, proponiamo FantasyPortrait, un framework basato su un transformer di diffusione in grado di generare animazioni ad alta fedeltà e ricche di emozioni sia per scenari a singolo che multi-personaggio. Il nostro metodo introduce una strategia di apprendimento aumentata per le espressioni che utilizza rappresentazioni implicite per catturare dinamiche facciali indipendenti dall'identità, migliorando la capacità del modello di rendere emozioni finemente dettagliate. Per il controllo multi-personaggio, progettiamo un meccanismo di cross-attention mascherato che garantisce una generazione di espressioni indipendente ma coordinata, prevenendo efficacemente l'interferenza delle caratteristiche. Per promuovere la ricerca in questo ambito, proponiamo il dataset Multi-Expr e ExprBench, appositamente progettati per l'addestramento e la valutazione di animazioni ritratto multi-personaggio. Esperimenti estensivi dimostrano che FantasyPortrait supera significativamente i metodi all'avanguardia sia nelle metriche quantitative che nelle valutazioni qualitative, eccellendo in particolare nei contesti impegnativi di reenactment incrociato e multi-personaggio. La nostra pagina del progetto è https://fantasy-amap.github.io/fantasy-portrait/.
English
Producing expressive facial animations from static images is a challenging
task. Prior methods relying on explicit geometric priors (e.g., facial
landmarks or 3DMM) often suffer from artifacts in cross reenactment and
struggle to capture subtle emotions. Furthermore, existing approaches lack
support for multi-character animation, as driving features from different
individuals frequently interfere with one another, complicating the task. To
address these challenges, we propose FantasyPortrait, a diffusion transformer
based framework capable of generating high-fidelity and emotion-rich animations
for both single- and multi-character scenarios. Our method introduces an
expression-augmented learning strategy that utilizes implicit representations
to capture identity-agnostic facial dynamics, enhancing the model's ability to
render fine-grained emotions. For multi-character control, we design a masked
cross-attention mechanism that ensures independent yet coordinated expression
generation, effectively preventing feature interference. To advance research in
this area, we propose the Multi-Expr dataset and ExprBench, which are
specifically designed datasets and benchmarks for training and evaluating
multi-character portrait animations. Extensive experiments demonstrate that
FantasyPortrait significantly outperforms state-of-the-art methods in both
quantitative metrics and qualitative evaluations, excelling particularly in
challenging cross reenactment and multi-character contexts. Our project page is
https://fantasy-amap.github.io/fantasy-portrait/.