AniPortrait: Audiogesteuerte Synthese photorealistischer Porträtanimation

AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation

March 26, 2024

Autoren: Huawei Wei, Zejun Yang, Zhisheng Wang

cs.AI

Zusammenfassung

In dieser Studie schlagen wir AniPortrait vor, ein neuartiges Framework zur Erzeugung hochwertiger Animationen, die durch Audio und ein Referenz-Porträtbild gesteuert werden. Unsere Methodik ist in zwei Phasen unterteilt. Zunächst extrahieren wir 3D-Zwischenrepräsentationen aus dem Audio und projizieren sie auf eine Sequenz von 2D-Gesichtslandmarken. Anschließend verwenden wir ein robustes Diffusionsmodell, kombiniert mit einem Bewegungsmodul, um die Landmarkenfolge in fotorealistische und zeitlich konsistente Porträtanimationen umzuwandeln. Experimentelle Ergebnisse zeigen die Überlegenheit von AniPortrait in Bezug auf natürliche Gesichtszüge, Posevielfalt und visuelle Qualität, wodurch ein verbessertes Wahrnehmungserlebnis geboten wird. Darüber hinaus zeigt unsere Methodik erhebliches Potenzial in Bezug auf Flexibilität und Steuerbarkeit, die effektiv in Bereichen wie der Bearbeitung von Gesichtsbewegungen oder der Gesichtsimitation eingesetzt werden können. Wir veröffentlichen den Code und die Modellgewichte unter https://github.com/scutzzj/AniPortrait

English

In this study, we propose AniPortrait, a novel framework for generating high-quality animation driven by audio and a reference portrait image. Our methodology is divided into two stages. Initially, we extract 3D intermediate representations from audio and project them into a sequence of 2D facial landmarks. Subsequently, we employ a robust diffusion model, coupled with a motion module, to convert the landmark sequence into photorealistic and temporally consistent portrait animation. Experimental results demonstrate the superiority of AniPortrait in terms of facial naturalness, pose diversity, and visual quality, thereby offering an enhanced perceptual experience. Moreover, our methodology exhibits considerable potential in terms of flexibility and controllability, which can be effectively applied in areas such as facial motion editing or face reenactment. We release code and model weights at https://github.com/scutzzj/AniPortrait