Avatars Codés Gaussians Rééclairés

Résumé

La fidélité du rééclairage est limitée par les représentations géométriques et d'apparence. Pour la géométrie, les approches basées sur des maillages et des volumes rencontrent des difficultés à modéliser des structures complexes comme la géométrie 3D des cheveux. Pour l'apparence, les modèles de rééclairage existants sont limités en fidélité et souvent trop lents pour un rendu en temps réel avec des environnements continus à haute résolution. Dans ce travail, nous présentons les Relightable Gaussian Codec Avatars, une méthode pour construire des avatars de tête rééclairables de haute fidélité pouvant être animés pour générer de nouvelles expressions. Notre modèle géométrique basé sur des Gaussiennes 3D permet de capturer des détails cohérents en 3D à l'échelle submillimétrique, tels que les mèches de cheveux et les pores sur des séquences dynamiques de visages. Pour prendre en charge de manière unifiée les différents matériaux de la tête humaine, tels que les yeux, la peau et les cheveux, nous présentons un nouveau modèle d'apparence rééclairable basé sur le transfert de radiance apprenable. En combinant cela avec des harmoniques sphériques prenant en compte l'illumination globale pour les composantes diffuses, nous obtenons un rééclairage en temps réel avec des réflexions spatiales à toutes fréquences utilisant des Gaussiennes sphériques. Ce modèle d'apparence peut être efficacement rééclairé sous une illumination ponctuelle ou continue. Nous améliorons également la fidélité des réflexions oculaires et permettons un contrôle explicite du regard en introduisant des modèles oculaires explicites rééclairables. Notre méthode surpasse les approches existantes sans compromettre les performances en temps réel. Nous démontrons également le rééclairage en temps réel d'avatars sur un casque VR grand public, mettant en avant l'efficacité et la fidélité de nos avatars.

English

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.