Avatar Gaussiano de Cabeza: Avatar de Cabeza de Ultra Alta Fidelidad mediante Gaussianos Dinámicos

Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians

December 5, 2023

Autores: Yuelang Xu, Benwang Chen, Zhe Li, Hongwen Zhang, Lizhen Wang, Zerong Zheng, Yebin Liu

cs.AI

Resumen

La creación de avatares 3D de cabezas de alta fidelidad siempre ha sido un foco de investigación, pero sigue siendo un gran desafío en configuraciones ligeras con vistas escasas. En este artículo, proponemos Gaussian Head Avatar, representado por gaussianos 3D controlables para el modelado de avatares de cabezas de alta fidelidad. Optimizamos los gaussianos 3D neutros y un campo de deformación basado en MLP completamente aprendido para capturar expresiones complejas. Ambas partes se benefician mutuamente, lo que permite que nuestro método modele detalles dinámicos de gran precisión mientras garantiza la exactitud de las expresiones. Además, diseñamos una estrategia de inicialización guiada por geometría bien estructurada, basada en SDF implícito y Deep Marching Tetrahedra, para garantizar la estabilidad y convergencia del proceso de entrenamiento. Los experimentos muestran que nuestro enfoque supera a otros métodos de última generación con vistas escasas, logrando una calidad de renderizado ultra alta fidelidad en resolución 2K incluso bajo expresiones exageradas.

English

Creating high-fidelity 3D head avatars has always been a research hotspot, but there remains a great challenge under lightweight sparse view setups. In this paper, we propose Gaussian Head Avatar represented by controllable 3D Gaussians for high-fidelity head avatar modeling. We optimize the neutral 3D Gaussians and a fully learned MLP-based deformation field to capture complex expressions. The two parts benefit each other, thereby our method can model fine-grained dynamic details while ensuring expression accuracy. Furthermore, we devise a well-designed geometry-guided initialization strategy based on implicit SDF and Deep Marching Tetrahedra for the stability and convergence of the training procedure. Experiments show our approach outperforms other state-of-the-art sparse-view methods, achieving ultra high-fidelity rendering quality at 2K resolution even under exaggerated expressions.