AniPortrait: 오디오 기반 포토리얼리스틱 초상화 애니메이션 합성

AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation

March 26, 2024

저자: Huawei Wei, Zejun Yang, Zhisheng Wang

cs.AI

초록

본 연구에서는 오디오와 참조용 초상화 이미지로 구동되는 고품질 애니메이션을 생성하기 위한 새로운 프레임워크인 AniPortrait를 제안합니다. 우리의 방법론은 두 단계로 나뉩니다. 먼저, 오디오에서 3D 중간 표현을 추출하고 이를 2D 얼굴 랜드마크 시퀀스로 투영합니다. 이후, 강력한 디퓨전 모델과 모션 모듈을 결합하여 랜드마크 시퀀스를 사실적이고 시간적으로 일관된 초상화 애니메이션으로 변환합니다. 실험 결과, AniPortrait는 얼굴의 자연스러움, 포즈 다양성, 시각적 품질 측면에서 우수성을 보여주며, 이를 통해 향상된 지각 경험을 제공합니다. 또한, 우리의 방법론은 유연성과 제어 가능성 측면에서 상당한 잠재력을 보여주며, 얼굴 모션 편집이나 얼굴 재현과 같은 분야에 효과적으로 적용될 수 있습니다. 코드와 모델 가중치는 https://github.com/scutzzj/AniPortrait에서 공개합니다.

English

In this study, we propose AniPortrait, a novel framework for generating high-quality animation driven by audio and a reference portrait image. Our methodology is divided into two stages. Initially, we extract 3D intermediate representations from audio and project them into a sequence of 2D facial landmarks. Subsequently, we employ a robust diffusion model, coupled with a motion module, to convert the landmark sequence into photorealistic and temporally consistent portrait animation. Experimental results demonstrate the superiority of AniPortrait in terms of facial naturalness, pose diversity, and visual quality, thereby offering an enhanced perceptual experience. Moreover, our methodology exhibits considerable potential in terms of flexibility and controllability, which can be effectively applied in areas such as facial motion editing or face reenactment. We release code and model weights at https://github.com/scutzzj/AniPortrait