FantasyPortrait: Mejorando la Animación de Retratos Multi-Personaje con Transformadores de Difusión Aumentados por Expresiones
FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers
July 17, 2025
Autores: Qiang Wang, Mengchao Wang, Fan Jiang, Yaqi Fan, Yonggang Qi, Mu Xu
cs.AI
Resumen
Generar animaciones faciales expresivas a partir de imágenes estáticas es una tarea desafiante. Los métodos anteriores que dependen de priores geométricos explícitos (por ejemplo, puntos de referencia faciales o 3DMM) a menudo presentan artefactos en la recreación cruzada y tienen dificultades para capturar emociones sutiles. Además, los enfoques existentes carecen de soporte para animaciones de múltiples personajes, ya que las características de control de diferentes individuos frecuentemente interfieren entre sí, complicando la tarea. Para abordar estos desafíos, proponemos FantasyPortrait, un marco basado en transformadores de difusión capaz de generar animaciones de alta fidelidad y ricas en emociones tanto para escenarios de un solo personaje como de múltiples personajes. Nuestro método introduce una estrategia de aprendizaje aumentada por expresiones que utiliza representaciones implícitas para capturar dinámicas faciales independientes de la identidad, mejorando la capacidad del modelo para representar emociones de gran detalle. Para el control de múltiples personajes, diseñamos un mecanismo de atención cruzada enmascarada que garantiza una generación de expresiones independiente pero coordinada, previniendo eficazmente la interferencia de características. Para avanzar en la investigación en esta área, proponemos el conjunto de datos Multi-Expr y ExprBench, que son conjuntos de datos y puntos de referencia específicamente diseñados para entrenar y evaluar animaciones de retratos de múltiples personajes. Experimentos extensos demuestran que FantasyPortrait supera significativamente a los métodos más avanzados tanto en métricas cuantitativas como en evaluaciones cualitativas, destacándose especialmente en contextos desafiantes de recreación cruzada y múltiples personajes. Nuestra página del proyecto es https://fantasy-amap.github.io/fantasy-portrait/.
English
Producing expressive facial animations from static images is a challenging
task. Prior methods relying on explicit geometric priors (e.g., facial
landmarks or 3DMM) often suffer from artifacts in cross reenactment and
struggle to capture subtle emotions. Furthermore, existing approaches lack
support for multi-character animation, as driving features from different
individuals frequently interfere with one another, complicating the task. To
address these challenges, we propose FantasyPortrait, a diffusion transformer
based framework capable of generating high-fidelity and emotion-rich animations
for both single- and multi-character scenarios. Our method introduces an
expression-augmented learning strategy that utilizes implicit representations
to capture identity-agnostic facial dynamics, enhancing the model's ability to
render fine-grained emotions. For multi-character control, we design a masked
cross-attention mechanism that ensures independent yet coordinated expression
generation, effectively preventing feature interference. To advance research in
this area, we propose the Multi-Expr dataset and ExprBench, which are
specifically designed datasets and benchmarks for training and evaluating
multi-character portrait animations. Extensive experiments demonstrate that
FantasyPortrait significantly outperforms state-of-the-art methods in both
quantitative metrics and qualitative evaluations, excelling particularly in
challenging cross reenactment and multi-character contexts. Our project page is
https://fantasy-amap.github.io/fantasy-portrait/.