HeadGAP: Few-shot 3D Hoofdavatar via Generaliseerbare Gaussische Priors

HeadGAP: Few-shot 3D Head Avatar via Generalizable Gaussian Priors

August 12, 2024

Auteurs: Xiaozheng Zheng, Chao Wen, Zhaohu Li, Weiyi Zhang, Zhuo Su, Xu Chang, Yang Zhao, Zheng Lv, Xiaoyuan Zhang, Yongjie Zhang, Guidong Wang, Lan Xu

cs.AI

Samenvatting

In dit artikel presenteren we een nieuwe aanpak voor het creëren van 3D-hoofdavatars die in staat is om te generaliseren vanuit weinig voorbeelden van real-world data met hoge kwaliteit en robuuste animatie. Gezien het onderbepaalde karakter van dit probleem, is het integreren van voorkennis essentieel. Daarom stellen we een raamwerk voor dat bestaat uit een fase voor het leren van voorkennis en een fase voor het creëren van avatars. De fase voor het leren van voorkennis maakt gebruik van 3D-hoofdvoorkennis afgeleid van een grootschalige multi-view dynamische dataset, en de fase voor het creëren van avatars past deze voorkennis toe voor personalisatie met weinig voorbeelden. Onze aanpak vangt deze voorkennis effectief op door gebruik te maken van een op Gaussische Splatting gebaseerd auto-decoder netwerk met dynamische modellering op basis van onderdelen. Onze methode maakt gebruik van identiteit-gedeelde codering met gepersonaliseerde latente codes voor individuele identiteiten om de attributen van Gaussische primitieven te leren. Tijdens de fase voor het creëren van avatars bereiken we snelle personalisatie van hoofdavatars door inversie- en fine-tuningstrategieën toe te passen. Uitgebreide experimenten tonen aan dat ons model effectief gebruik maakt van hoofdvoorkennis en deze succesvol generaliseert naar personalisatie met weinig voorbeelden, waarbij fotorealistische renderkwaliteit, multi-view consistentie en stabiele animatie worden bereikt.

English

In this paper, we present a novel 3D head avatar creation approach capable of generalizing from few-shot in-the-wild data with high-fidelity and animatable robustness. Given the underconstrained nature of this problem, incorporating prior knowledge is essential. Therefore, we propose a framework comprising prior learning and avatar creation phases. The prior learning phase leverages 3D head priors derived from a large-scale multi-view dynamic dataset, and the avatar creation phase applies these priors for few-shot personalization. Our approach effectively captures these priors by utilizing a Gaussian Splatting-based auto-decoder network with part-based dynamic modeling. Our method employs identity-shared encoding with personalized latent codes for individual identities to learn the attributes of Gaussian primitives. During the avatar creation phase, we achieve fast head avatar personalization by leveraging inversion and fine-tuning strategies. Extensive experiments demonstrate that our model effectively exploits head priors and successfully generalizes them to few-shot personalization, achieving photo-realistic rendering quality, multi-view consistency, and stable animation.