AniPortrait: Síntesis impulsada por audio de animación fotorealista de retratos

AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation

March 26, 2024

Autores: Huawei Wei, Zejun Yang, Zhisheng Wang

cs.AI

Resumen

En este estudio, proponemos AniPortrait, un marco novedoso para generar animaciones de alta calidad impulsadas por audio y una imagen de retrato de referencia. Nuestra metodología se divide en dos etapas. Inicialmente, extraemos representaciones intermedias en 3D a partir del audio y las proyectamos en una secuencia de puntos faciales en 2D. Posteriormente, empleamos un modelo de difusión robusto, junto con un módulo de movimiento, para convertir la secuencia de puntos en una animación de retrato fotorrealista y temporalmente consistente. Los resultados experimentales demuestran la superioridad de AniPortrait en términos de naturalidad facial, diversidad de poses y calidad visual, ofreciendo así una experiencia perceptiva mejorada. Además, nuestra metodología muestra un potencial considerable en términos de flexibilidad y controlabilidad, lo que puede aplicarse eficazmente en áreas como la edición de movimiento facial o la recreación facial. Publicamos el código y los pesos del modelo en https://github.com/scutzzj/AniPortrait.

English

In this study, we propose AniPortrait, a novel framework for generating high-quality animation driven by audio and a reference portrait image. Our methodology is divided into two stages. Initially, we extract 3D intermediate representations from audio and project them into a sequence of 2D facial landmarks. Subsequently, we employ a robust diffusion model, coupled with a motion module, to convert the landmark sequence into photorealistic and temporally consistent portrait animation. Experimental results demonstrate the superiority of AniPortrait in terms of facial naturalness, pose diversity, and visual quality, thereby offering an enhanced perceptual experience. Moreover, our methodology exhibits considerable potential in terms of flexibility and controllability, which can be effectively applied in areas such as facial motion editing or face reenactment. We release code and model weights at https://github.com/scutzzj/AniPortrait