AniPortrait: Síntese de Animação Fotorealística de Retratos Dirigida por Áudio
AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
March 26, 2024
Autores: Huawei Wei, Zejun Yang, Zhisheng Wang
cs.AI
Resumo
Neste estudo, propomos o AniPortrait, uma nova estrutura para geração de animações de alta qualidade impulsionadas por áudio e uma imagem de retrato de referência. Nossa metodologia é dividida em duas etapas. Inicialmente, extraímos representações intermediárias 3D a partir do áudio e as projetamos em uma sequência de marcos faciais 2D. Posteriormente, empregamos um modelo de difusão robusto, acoplado a um módulo de movimento, para converter a sequência de marcos em uma animação de retrato fotorrealista e temporalmente consistente. Os resultados experimentais demonstram a superioridade do AniPortrait em termos de naturalidade facial, diversidade de poses e qualidade visual, oferecendo assim uma experiência perceptiva aprimorada. Além disso, nossa metodologia exibe um potencial considerável em termos de flexibilidade e controlabilidade, podendo ser efetivamente aplicada em áreas como edição de movimento facial ou reencenação facial. Disponibilizamos o código e os pesos do modelo em https://github.com/scutzzj/AniPortrait.
English
In this study, we propose AniPortrait, a novel framework for generating
high-quality animation driven by audio and a reference portrait image. Our
methodology is divided into two stages. Initially, we extract 3D intermediate
representations from audio and project them into a sequence of 2D facial
landmarks. Subsequently, we employ a robust diffusion model, coupled with a
motion module, to convert the landmark sequence into photorealistic and
temporally consistent portrait animation. Experimental results demonstrate the
superiority of AniPortrait in terms of facial naturalness, pose diversity, and
visual quality, thereby offering an enhanced perceptual experience. Moreover,
our methodology exhibits considerable potential in terms of flexibility and
controllability, which can be effectively applied in areas such as facial
motion editing or face reenactment. We release code and model weights at
https://github.com/scutzzj/AniPortrait