AniPortrait: Sintesi Audio-Guidata di Animazioni Fotorealistiche di Ritratti
AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
March 26, 2024
Autori: Huawei Wei, Zejun Yang, Zhisheng Wang
cs.AI
Abstract
In questo studio, proponiamo AniPortrait, un nuovo framework per la generazione di animazioni di alta qualità guidate da audio e un'immagine ritratto di riferimento. La nostra metodologia è suddivisa in due fasi. Inizialmente, estraiamo rappresentazioni intermedie 3D dall'audio e le proiettiamo in una sequenza di landmark facciali 2D. Successivamente, utilizziamo un robusto modello di diffusione, accoppiato con un modulo di movimento, per convertire la sequenza di landmark in un'animazione ritratto fotorealistica e temporalmente coerente. I risultati sperimentali dimostrano la superiorità di AniPortrait in termini di naturalezza facciale, diversità delle pose e qualità visiva, offrendo così un'esperienza percettiva migliorata. Inoltre, la nostra metodologia mostra un potenziale considerevole in termini di flessibilità e controllabilità, che può essere efficacemente applicata in aree come l'editing del movimento facciale o il reenactment facciale. Rilasciamo il codice e i pesi del modello all'indirizzo https://github.com/scutzzj/AniPortrait.
English
In this study, we propose AniPortrait, a novel framework for generating
high-quality animation driven by audio and a reference portrait image. Our
methodology is divided into two stages. Initially, we extract 3D intermediate
representations from audio and project them into a sequence of 2D facial
landmarks. Subsequently, we employ a robust diffusion model, coupled with a
motion module, to convert the landmark sequence into photorealistic and
temporally consistent portrait animation. Experimental results demonstrate the
superiority of AniPortrait in terms of facial naturalness, pose diversity, and
visual quality, thereby offering an enhanced perceptual experience. Moreover,
our methodology exhibits considerable potential in terms of flexibility and
controllability, which can be effectively applied in areas such as facial
motion editing or face reenactment. We release code and model weights at
https://github.com/scutzzj/AniPortrait