ガウシアンヘッドアバター：動的ガウシアンによる超高精細ヘッドアバター

Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians

December 5, 2023

著者: Yuelang Xu, Benwang Chen, Zhe Li, Hongwen Zhang, Lizhen Wang, Zerong Zheng, Yebin Liu

cs.AI

要旨

高忠実度な3Dヘッドアバターの作成は常に研究のホットスポットであり、軽量な疎ビュー設定下では依然として大きな課題が残っています。本論文では、高忠実度なヘッドアバターモデリングのための制御可能な3Dガウシアンで表現されるGaussian Head Avatarを提案します。ニュートラルな3Dガウシアンと完全に学習されたMLPベースの変形フィールドを最適化し、複雑な表情を捉えます。これら2つの要素は互いに補完し合い、細かな動的ディテールをモデル化しながら表情の正確性を保証します。さらに、トレーニングプロセスの安定性と収束性を確保するため、暗黙的SDFとDeep Marching Tetrahedraに基づいた幾何学ガイド型の初期化戦略を考案しました。実験結果から、本手法は他の最先端の疎ビュー手法を凌駕し、誇張された表情下でも2K解像度で超高忠実度なレンダリング品質を実現することが示されています。

English

Creating high-fidelity 3D head avatars has always been a research hotspot, but there remains a great challenge under lightweight sparse view setups. In this paper, we propose Gaussian Head Avatar represented by controllable 3D Gaussians for high-fidelity head avatar modeling. We optimize the neutral 3D Gaussians and a fully learned MLP-based deformation field to capture complex expressions. The two parts benefit each other, thereby our method can model fine-grained dynamic details while ensuring expression accuracy. Furthermore, we devise a well-designed geometry-guided initialization strategy based on implicit SDF and Deep Marching Tetrahedra for the stability and convergence of the training procedure. Experiments show our approach outperforms other state-of-the-art sparse-view methods, achieving ultra high-fidelity rendering quality at 2K resolution even under exaggerated expressions.