가우시안 헤드 아바타: 동적 가우시안을 통한 초고해상도 헤드 아바타

초록

고품질 3D 헤드 아바타 생성은 항상 연구의 핫스팟이었지만, 경량화된 희소 뷰 설정에서는 여전히 큰 도전 과제로 남아 있습니다. 본 논문에서는 고품질 헤드 아바타 모델링을 위해 제어 가능한 3D 가우시안으로 표현된 가우시안 헤드 아바타를 제안합니다. 우리는 중립 3D 가우시안과 완전히 학습된 MLP 기반 변형 필드를 최적화하여 복잡한 표정을 포착합니다. 이 두 부분은 서로 상호 보완적이어서, 우리의 방법은 표현 정확도를 보장하면서도 미세한 동적 디테일을 모델링할 수 있습니다. 또한, 학습 과정의 안정성과 수렴을 위해 암묵적 SDF와 딥 마칭 테트라헤드라 기반의 잘 설계된 기하학적 초기화 전략을 고안했습니다. 실험 결과, 우리의 접근 방식은 다른 최신 희소 뷰 방법들을 능가하며, 과장된 표정에서도 2K 해상도에서 초고품질 렌더링 품질을 달성함을 보여줍니다.

English

Creating high-fidelity 3D head avatars has always been a research hotspot, but there remains a great challenge under lightweight sparse view setups. In this paper, we propose Gaussian Head Avatar represented by controllable 3D Gaussians for high-fidelity head avatar modeling. We optimize the neutral 3D Gaussians and a fully learned MLP-based deformation field to capture complex expressions. The two parts benefit each other, thereby our method can model fine-grained dynamic details while ensuring expression accuracy. Furthermore, we devise a well-designed geometry-guided initialization strategy based on implicit SDF and Deep Marching Tetrahedra for the stability and convergence of the training procedure. Experiments show our approach outperforms other state-of-the-art sparse-view methods, achieving ultra high-fidelity rendering quality at 2K resolution even under exaggerated expressions.

가우시안 헤드 아바타: 동적 가우시안을 통한 초고해상도 헤드 아바타

Gaussian Head Avatar: Ultra High-fidelity Head Avatar via Dynamic Gaussians

초록

Support