HeadGAP : Avatar de tête 3D en few-shot via des priors gaussiens généralisables

HeadGAP: Few-shot 3D Head Avatar via Generalizable Gaussian Priors

August 12, 2024

Auteurs: Xiaozheng Zheng, Chao Wen, Zhaohu Li, Weiyi Zhang, Zhuo Su, Xu Chang, Yang Zhao, Zheng Lv, Xiaoyuan Zhang, Yongjie Zhang, Guidong Wang, Lan Xu

cs.AI

Résumé

Dans cet article, nous présentons une nouvelle approche de création d'avatars 3D de têtes capable de généraliser à partir de données peu nombreuses et capturées en conditions réelles, tout en offrant une haute fidélité et une robustesse animable. Étant donné la nature sous-contrainte de ce problème, l'intégration de connaissances a priori est essentielle. Par conséquent, nous proposons un cadre comprenant des phases d'apprentissage des connaissances a priori et de création d'avatars. La phase d'apprentissage des connaissances a priori exploite des informations préalables sur les têtes 3D dérivées d'un ensemble de données dynamiques multi-vues à grande échelle, tandis que la phase de création d'avatars applique ces connaissances pour une personnalisation à partir de peu de données. Notre approche capture efficacement ces connaissances a priori en utilisant un réseau auto-décodeur basé sur le Gaussian Splatting avec une modélisation dynamique par parties. Notre méthode emploie un encodage partagé entre les identités avec des codes latents personnalisés pour chaque individu afin d'apprendre les attributs des primitives gaussiennes. Durant la phase de création d'avatars, nous réalisons une personnalisation rapide des avatars de tête en exploitant des stratégies d'inversion et de réglage fin. Des expériences approfondies démontrent que notre modèle exploite efficacement les connaissances a priori sur les têtes et les généralise avec succès à une personnalisation à partir de peu de données, atteignant une qualité de rendu photo-réaliste, une cohérence multi-vues et une animation stable.

English

In this paper, we present a novel 3D head avatar creation approach capable of generalizing from few-shot in-the-wild data with high-fidelity and animatable robustness. Given the underconstrained nature of this problem, incorporating prior knowledge is essential. Therefore, we propose a framework comprising prior learning and avatar creation phases. The prior learning phase leverages 3D head priors derived from a large-scale multi-view dynamic dataset, and the avatar creation phase applies these priors for few-shot personalization. Our approach effectively captures these priors by utilizing a Gaussian Splatting-based auto-decoder network with part-based dynamic modeling. Our method employs identity-shared encoding with personalized latent codes for individual identities to learn the attributes of Gaussian primitives. During the avatar creation phase, we achieve fast head avatar personalization by leveraging inversion and fine-tuning strategies. Extensive experiments demonstrate that our model effectively exploits head priors and successfully generalizes them to few-shot personalization, achieving photo-realistic rendering quality, multi-view consistency, and stable animation.