Gaussian Hoofd Avatar: Ultra Hoogwaardige Hoofd Avatar via Dynamische Gaussians

Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians

December 5, 2023

Auteurs: Yuelang Xu, Benwang Chen, Zhe Li, Hongwen Zhang, Lizhen Wang, Zerong Zheng, Yebin Liu

cs.AI

Samenvatting

Het creëren van hoogwaardige 3D-hoofdavatars is altijd een belangrijk onderzoeksgebied geweest, maar het blijft een grote uitdaging onder lichtgewicht, spaarzame camerasetups. In dit artikel stellen we Gaussian Head Avatar voor, gerepresenteerd door controleerbare 3D-Gaussians voor het modelleren van hoogwaardige hoofdavatars. We optimaliseren de neutrale 3D-Gaussians en een volledig geleerd MLP-gebaseerd vervormingsveld om complexe expressies vast te leggen. De twee componenten versterken elkaar, waardoor onze methode fijnmazige dynamische details kan modelleren terwijl de nauwkeurigheid van de expressies wordt gewaarborgd. Bovendien ontwikkelen we een goed doordachte geometrie-gestuurde initialisatiestrategie gebaseerd op impliciete SDF en Deep Marching Tetrahedra voor de stabiliteit en convergentie van het trainingsproces. Experimenten tonen aan dat onze aanpak andere state-of-the-art methoden met spaarzame camerabeelden overtreft, waarbij een ultrahoogwaardige renderkwaliteit op 2K-resolutie wordt bereikt, zelfs onder overdreven expressies.

English

Creating high-fidelity 3D head avatars has always been a research hotspot, but there remains a great challenge under lightweight sparse view setups. In this paper, we propose Gaussian Head Avatar represented by controllable 3D Gaussians for high-fidelity head avatar modeling. We optimize the neutral 3D Gaussians and a fully learned MLP-based deformation field to capture complex expressions. The two parts benefit each other, thereby our method can model fine-grained dynamic details while ensuring expression accuracy. Furthermore, we devise a well-designed geometry-guided initialization strategy based on implicit SDF and Deep Marching Tetrahedra for the stability and convergence of the training procedure. Experiments show our approach outperforms other state-of-the-art sparse-view methods, achieving ultra high-fidelity rendering quality at 2K resolution even under exaggerated expressions.