HeadGAP: 일반화 가능한 가우시안 사전을 통한 퓨-샷 3D 헤드 아바타

초록

본 논문에서는 고신뢰도 및 애니메이션 가능한 강건성으로부터 적은 양의 데이터로부터 범용화할 수 있는 새로운 3D 머리 아바타 생성 방법을 제안합니다. 이 문제의 미제한된 성격을 고려하여 사전 지식을 통합하는 것이 중요합니다. 따라서, 우리는 사전 학습 및 아바타 생성 단계로 구성된 프레임워크를 제안합니다. 사전 학습 단계는 대규모 다중 뷰 동적 데이터셋에서 유래된 3D 머리 사전을 활용하며, 아바타 생성 단계는 이러한 사전을 적은 양의 데이터로 개인화에 적용합니다. 우리의 방법은 가우시안 스플래팅 기반 오토 디코더 네트워크와 부분 기반 동적 모델링을 활용하여 이러한 사전을 효과적으로 포착합니다. 우리의 방법은 개인 신원을 위한 개인화된 잠재 코드와 신원 공유 인코딩을 활용하여 가우시안 기본체의 특성을 학습합니다. 아바타 생성 단계에서는 역전 및 세밀 조정 전략을 활용하여 신속한 머리 아바타 개인화를 달성합니다. 광범위한 실험 결과는 우리의 모델이 머리 사전을 효과적으로 활용하고 적은 양의 데이터로 개인화를 성공적으로 일반화하여 사진 현실적 렌더링 품질, 다중 뷰 일관성 및 안정적인 애니메이션을 달성한다는 것을 보여줍니다.

English

In this paper, we present a novel 3D head avatar creation approach capable of generalizing from few-shot in-the-wild data with high-fidelity and animatable robustness. Given the underconstrained nature of this problem, incorporating prior knowledge is essential. Therefore, we propose a framework comprising prior learning and avatar creation phases. The prior learning phase leverages 3D head priors derived from a large-scale multi-view dynamic dataset, and the avatar creation phase applies these priors for few-shot personalization. Our approach effectively captures these priors by utilizing a Gaussian Splatting-based auto-decoder network with part-based dynamic modeling. Our method employs identity-shared encoding with personalized latent codes for individual identities to learn the attributes of Gaussian primitives. During the avatar creation phase, we achieve fast head avatar personalization by leveraging inversion and fine-tuning strategies. Extensive experiments demonstrate that our model effectively exploits head priors and successfully generalizes them to few-shot personalization, achieving photo-realistic rendering quality, multi-view consistency, and stable animation.

HeadGAP: 일반화 가능한 가우시안 사전을 통한 퓨-샷 3D 헤드 아바타

HeadGAP: Few-shot 3D Head Avatar via Generalizable Gaussian Priors

초록

Support