재조명 가능한 가우시안 코덱 아바타

초록

재조명의 충실도는 기하학적 표현과 외관 표현 모두에 의해 제한됩니다. 기하학적 측면에서, 메시와 볼륨 기반 접근법 모두 3D 헤어 기하학과 같은 복잡한 구조를 모델링하는 데 어려움을 겪습니다. 외관 측면에서, 기존의 재조명 모델들은 충실도가 제한적이며 고해상도의 연속적인 환경에서 실시간으로 렌더링하기에는 너무 느린 경우가 많습니다. 본 연구에서는 새로운 표정을 생성할 수 있는 애니메이션 가능한 고충실도 재조명 가능한 헤드 아바타를 구축하는 방법인 Relightable Gaussian Codec Avatars를 제시합니다. 3D 가우시안을 기반으로 한 우리의 기하학적 모델은 동적 얼굴 시퀀스에서 헤어 스트랜드와 모공과 같은 3D 일관성을 유지하는 서브밀리미터 단위의 세부 사항을 포착할 수 있습니다. 눈, 피부, 헤어와 같은 인간 머리의 다양한 재질을 통합적으로 지원하기 위해, 학습 가능한 방사 전달(learnable radiance transfer)을 기반으로 한 새로운 재조명 가능한 외관 모델을 제시합니다. 확산 성분을 위한 전역 조명 인식 구면 조화 함수(global illumination-aware spherical harmonics)와 함께, 구면 가우시안(spherical Gaussians)을 사용하여 공간적으로 모든 주파수의 반사를 실시간으로 재조명합니다. 이 외관 모델은 점 광원과 연속 조명 하에서 모두 효율적으로 재조명될 수 있습니다. 또한, 재조명 가능한 명시적 눈 모델을 도입하여 눈 반사의 충실도를 향상시키고 명시적인 시선 제어를 가능하게 합니다. 우리의 방법은 실시간 성능을 저해하지 않으면서 기존 접근법을 능가합니다. 또한, 테더링된 소비자용 VR 헤드셋에서 아바타의 실시간 재조명을 시연하여 우리 아바타의 효율성과 충실도를 입증합니다.

English

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.