FantasyPortrait: Aprimorando a Animação de Retratos com Múltiplos Personagens por meio de Transformadores de Difusão Aumentados por Expressões

FantasyPortrait: Enhancing Multi-Character Portrait Animation with Expression-Augmented Diffusion Transformers

July 17, 2025

Autores: Qiang Wang, Mengchao Wang, Fan Jiang, Yaqi Fan, Yonggang Qi, Mu Xu

cs.AI

Resumo

Produzir animações faciais expressivas a partir de imagens estáticas é uma tarefa desafiadora. Métodos anteriores que dependem de priors geométricos explícitos (por exemplo, marcos faciais ou 3DMM) frequentemente sofrem com artefatos em reencenação cruzada e têm dificuldade em capturar emoções sutis. Além disso, as abordagens existentes não oferecem suporte para animação de múltiplos personagens, pois as características de direção de diferentes indivíduos frequentemente interferem umas nas outras, complicando a tarefa. Para enfrentar esses desafios, propomos o FantasyPortrait, um framework baseado em transformadores de difusão capaz de gerar animações de alta fidelidade e ricas em emoções tanto para cenários de um único personagem quanto para múltiplos personagens. Nosso método introduz uma estratégia de aprendizado aumentado por expressão que utiliza representações implícitas para capturar dinâmicas faciais independentes de identidade, melhorando a capacidade do modelo de renderizar emoções em detalhes finos. Para o controle de múltiplos personagens, projetamos um mecanismo de atenção cruzada mascarada que garante a geração de expressões independentes, porém coordenadas, prevenindo efetivamente a interferência de características. Para avançar a pesquisa nessa área, propomos o conjunto de dados Multi-Expr e o ExprBench, que são conjuntos de dados e benchmarks especificamente projetados para treinar e avaliar animações de retratos de múltiplos personagens. Experimentos extensivos demonstram que o FantasyPortrait supera significativamente os métodos state-of-the-art tanto em métricas quantitativas quanto em avaliações qualitativas, destacando-se especialmente em contextos desafiadores de reencenação cruzada e múltiplos personagens. Nossa página do projeto está disponível em https://fantasy-amap.github.io/fantasy-portrait/.

English

Producing expressive facial animations from static images is a challenging task. Prior methods relying on explicit geometric priors (e.g., facial landmarks or 3DMM) often suffer from artifacts in cross reenactment and struggle to capture subtle emotions. Furthermore, existing approaches lack support for multi-character animation, as driving features from different individuals frequently interfere with one another, complicating the task. To address these challenges, we propose FantasyPortrait, a diffusion transformer based framework capable of generating high-fidelity and emotion-rich animations for both single- and multi-character scenarios. Our method introduces an expression-augmented learning strategy that utilizes implicit representations to capture identity-agnostic facial dynamics, enhancing the model's ability to render fine-grained emotions. For multi-character control, we design a masked cross-attention mechanism that ensures independent yet coordinated expression generation, effectively preventing feature interference. To advance research in this area, we propose the Multi-Expr dataset and ExprBench, which are specifically designed datasets and benchmarks for training and evaluating multi-character portrait animations. Extensive experiments demonstrate that FantasyPortrait significantly outperforms state-of-the-art methods in both quantitative metrics and qualitative evaluations, excelling particularly in challenging cross reenactment and multi-character contexts. Our project page is https://fantasy-amap.github.io/fantasy-portrait/.