Gaussian Head Avatar: Ultra-hochauflösendes Kopf-Avatar mittels dynamischer Gauss-Verteilungen

Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians

December 5, 2023

Autoren: Yuelang Xu, Benwang Chen, Zhe Li, Hongwen Zhang, Lizhen Wang, Zerong Zheng, Yebin Liu

cs.AI

Zusammenfassung

Die Erstellung hochwertiger 3D-Kopfavatare war schon immer ein Forschungsschwerpunkt, doch unter leichtgewichtigen, spärlichen Ansichtsaufbauten bleibt dies eine große Herausforderung. In diesem Artikel schlagen wir Gaussian Head Avatar vor, das durch steuerbare 3D-Gaußsche Funktionen für die Modellierung hochwertiger Kopfavatare repräsentiert wird. Wir optimieren die neutralen 3D-Gaußschen Funktionen und ein vollständig gelerntes MLP-basiertes Deformationsfeld, um komplexe Ausdrücke zu erfassen. Die beiden Teile profitieren voneinander, wodurch unsere Methode fein abgestufte dynamische Details modellieren kann, während gleichzeitig die Genauigkeit der Ausdrücke gewährleistet wird. Darüber hinaus entwickeln wir eine gut durchdachte, geometriegeleitete Initialisierungsstrategie basierend auf impliziten SDF und Deep Marching Tetrahedra für die Stabilität und Konvergenz des Trainingsprozesses. Experimente zeigen, dass unser Ansatz andere state-of-the-art Methoden mit spärlichen Ansichten übertrifft und eine ultrahochwertige Rendering-Qualität bei 2K-Auflösung selbst unter übertriebenen Ausdrücken erreicht.

English

Creating high-fidelity 3D head avatars has always been a research hotspot, but there remains a great challenge under lightweight sparse view setups. In this paper, we propose Gaussian Head Avatar represented by controllable 3D Gaussians for high-fidelity head avatar modeling. We optimize the neutral 3D Gaussians and a fully learned MLP-based deformation field to capture complex expressions. The two parts benefit each other, thereby our method can model fine-grained dynamic details while ensuring expression accuracy. Furthermore, we devise a well-designed geometry-guided initialization strategy based on implicit SDF and Deep Marching Tetrahedra for the stability and convergence of the training procedure. Experiments show our approach outperforms other state-of-the-art sparse-view methods, achieving ultra high-fidelity rendering quality at 2K resolution even under exaggerated expressions.