FantasyPortrait: Verbesserung der Animation von Mehrfigurenporträts durch ausdrucksverstärkte Diffusionstransformatoren
FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers
July 17, 2025
papers.authors: Qiang Wang, Mengchao Wang, Fan Jiang, Yaqi Fan, Yonggang Qi, Mu Xu
cs.AI
papers.abstract
Die Erzeugung ausdrucksstarker Gesichtsanimationen aus statischen Bildern ist eine anspruchsvolle Aufgabe. Bisherige Methoden, die sich auf explizite geometrische Prioritäten (z. B. Gesichtslandmarken oder 3DMM) stützen, leiden oft unter Artefakten bei der Cross-Reenactment und haben Schwierigkeiten, subtile Emotionen zu erfassen. Darüber hinaus unterstützen bestehende Ansätze keine Multi-Charakter-Animation, da Antriebsmerkmale verschiedener Individuen häufig miteinander interferieren und die Aufgabe erschweren. Um diese Herausforderungen zu bewältigen, schlagen wir FantasyPortrait vor, ein auf Diffusionstransformern basierendes Framework, das in der Lage ist, hochauflösende und emotionsreiche Animationen sowohl für Einzel- als auch für Multi-Charakter-Szenarien zu generieren. Unsere Methode führt eine ausdrucksverstärkte Lernstrategie ein, die implizite Repräsentationen nutzt, um identitätsunabhängige Gesichtsdynamiken zu erfassen und so die Fähigkeit des Modells zur Darstellung fein abgestufter Emotionen zu verbessern. Für die Multi-Charakter-Steuerung entwerfen wir einen maskierten Cross-Attention-Mechanismus, der eine unabhängige, aber koordinierte Ausdrucksgenerierung sicherstellt und effektiv Feature-Interferenzen verhindert. Um die Forschung in diesem Bereich voranzutreiben, schlagen wir das Multi-Expr-Dataset und ExprBench vor, speziell entwickelte Datensätze und Benchmarks für das Training und die Bewertung von Multi-Charakter-Porträtanimationen. Umfangreiche Experimente zeigen, dass FantasyPortrait state-of-the-art-Methoden sowohl in quantitativen Metriken als auch in qualitativen Bewertungen deutlich übertrifft, insbesondere in anspruchsvollen Cross-Reenactment- und Multi-Charakter-Kontexten. Unsere Projektseite ist https://fantasy-amap.github.io/fantasy-portrait/.
English
Producing expressive facial animations from static images is a challenging
task. Prior methods relying on explicit geometric priors (e.g., facial
landmarks or 3DMM) often suffer from artifacts in cross reenactment and
struggle to capture subtle emotions. Furthermore, existing approaches lack
support for multi-character animation, as driving features from different
individuals frequently interfere with one another, complicating the task. To
address these challenges, we propose FantasyPortrait, a diffusion transformer
based framework capable of generating high-fidelity and emotion-rich animations
for both single- and multi-character scenarios. Our method introduces an
expression-augmented learning strategy that utilizes implicit representations
to capture identity-agnostic facial dynamics, enhancing the model's ability to
render fine-grained emotions. For multi-character control, we design a masked
cross-attention mechanism that ensures independent yet coordinated expression
generation, effectively preventing feature interference. To advance research in
this area, we propose the Multi-Expr dataset and ExprBench, which are
specifically designed datasets and benchmarks for training and evaluating
multi-character portrait animations. Extensive experiments demonstrate that
FantasyPortrait significantly outperforms state-of-the-art methods in both
quantitative metrics and qualitative evaluations, excelling particularly in
challenging cross reenactment and multi-character contexts. Our project page is
https://fantasy-amap.github.io/fantasy-portrait/.