AniPortrait: Audiogestuurde Synthese van Fotorealistische Portretanimatie
AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
March 26, 2024
Auteurs: Huawei Wei, Zejun Yang, Zhisheng Wang
cs.AI
Samenvatting
In dit onderzoek stellen we AniPortrait voor, een nieuw raamwerk voor het genereren van hoogwaardige animatie die wordt aangedreven door audio en een referentieportretafbeelding. Onze methodologie is verdeeld in twee fasen. Eerst extraheren we 3D-intermediaire representaties uit audio en projecteren deze naar een reeks van 2D-gezichtslandmarken. Vervolgens gebruiken we een robuust diffusiemodel, in combinatie met een bewegingsmodule, om de landmarkenreeks om te zetten in fotorealistische en temporeel consistente portretanimatie. Experimentele resultaten tonen de superioriteit van AniPortrait aan op het gebied van gezichtsnaturaliteit, posediversiteit en visuele kwaliteit, waardoor een verbeterde perceptuele ervaring wordt geboden. Bovendien toont onze methodologie aanzienlijk potentieel op het gebied van flexibiliteit en beheersbaarheid, wat effectief kan worden toegepast in gebieden zoals gezichtsbewegingsbewerking of gezichtsheruitvoering. We geven code en modelgewichten vrij op https://github.com/scutzzj/AniPortrait.
English
In this study, we propose AniPortrait, a novel framework for generating
high-quality animation driven by audio and a reference portrait image. Our
methodology is divided into two stages. Initially, we extract 3D intermediate
representations from audio and project them into a sequence of 2D facial
landmarks. Subsequently, we employ a robust diffusion model, coupled with a
motion module, to convert the landmark sequence into photorealistic and
temporally consistent portrait animation. Experimental results demonstrate the
superiority of AniPortrait in terms of facial naturalness, pose diversity, and
visual quality, thereby offering an enhanced perceptual experience. Moreover,
our methodology exhibits considerable potential in terms of flexibility and
controllability, which can be effectively applied in areas such as facial
motion editing or face reenactment. We release code and model weights at
https://github.com/scutzzj/AniPortrait