HeadGAP: Avatar de cabeza 3D de pocos disparos a través de priors gaussianos generalizables.

HeadGAP: Few-shot 3D Head Avatar via Generalizable Gaussian Priors

August 12, 2024

Autores: Xiaozheng Zheng, Chao Wen, Zhaohu Li, Weiyi Zhang, Zhuo Su, Xu Chang, Yang Zhao, Zheng Lv, Xiaoyuan Zhang, Yongjie Zhang, Guidong Wang, Lan Xu

cs.AI

Resumen

En este documento, presentamos un enfoque novedoso para la creación de avatares tridimensionales de cabeza capaz de generalizar a partir de datos en la naturaleza con pocos ejemplos y alta fidelidad, así como una robustez animable. Dada la naturaleza poco restringida de este problema, es esencial incorporar conocimientos previos. Por lo tanto, proponemos un marco que consta de fases de aprendizaje previo y creación de avatares. La fase de aprendizaje previo aprovecha conocimientos previos de cabezas en 3D derivados de un conjunto de datos dinámicos de múltiples vistas a gran escala, y la fase de creación de avatares aplica estos conocimientos previos para la personalización con pocos ejemplos. Nuestro enfoque captura eficazmente estos conocimientos previos mediante el uso de una red auto-decodificadora basada en Splatting Gaussiano con modelado dinámico basado en partes. Nuestro método emplea codificación compartida de identidad con códigos latentes personalizados para identidades individuales para aprender los atributos de primitivas Gaussianas. Durante la fase de creación de avatares, logramos una rápida personalización de avatares de cabeza aprovechando estrategias de inversión y ajuste fino. Experimentos extensos demuestran que nuestro modelo aprovecha eficazmente los conocimientos previos de cabezas y los generaliza con éxito para la personalización con pocos ejemplos, logrando calidad de renderizado fotorrealista, consistencia de múltiples vistas y animación estable.

English

In this paper, we present a novel 3D head avatar creation approach capable of generalizing from few-shot in-the-wild data with high-fidelity and animatable robustness. Given the underconstrained nature of this problem, incorporating prior knowledge is essential. Therefore, we propose a framework comprising prior learning and avatar creation phases. The prior learning phase leverages 3D head priors derived from a large-scale multi-view dynamic dataset, and the avatar creation phase applies these priors for few-shot personalization. Our approach effectively captures these priors by utilizing a Gaussian Splatting-based auto-decoder network with part-based dynamic modeling. Our method employs identity-shared encoding with personalized latent codes for individual identities to learn the attributes of Gaussian primitives. During the avatar creation phase, we achieve fast head avatar personalization by leveraging inversion and fine-tuning strategies. Extensive experiments demonstrate that our model effectively exploits head priors and successfully generalizes them to few-shot personalization, achieving photo-realistic rendering quality, multi-view consistency, and stable animation.