Herbelichtbare Gaussische Codec Avatars

Samenvatting

De nauwkeurigheid van herbelichting wordt beperkt door zowel geometrie- als uiterlijkrepresentaties. Voor geometrie hebben zowel mesh- als volumetrische benaderingen moeite met het modelleren van ingewikkelde structuren zoals 3D-haargeometrie. Voor uiterlijk zijn bestaande herbelichtingsmodellen beperkt in nauwkeurigheid en vaak te traag om in realtime te renderen met hoogwaardige continue omgevingen. In dit werk presenteren we Relightable Gaussian Codec Avatars, een methode om hoogwaardige herbelichtbare hoofdavatars te bouwen die geanimeerd kunnen worden om nieuwe expressies te genereren. Ons geometriemodel, gebaseerd op 3D Gaussians, kan 3D-consistente details op submillimeterniveau vastleggen, zoals haarlokken en poriën in dynamische gezichtssequenties. Om diverse materialen van menselijke hoofden, zoals ogen, huid en haar, op een uniforme manier te ondersteunen, presenteren we een nieuw herbelichtbaar uiterlijkmodel gebaseerd op leerbare radiatieoverdracht. Samen met sferische harmonischen die bewust zijn van globale verlichting voor de diffuse componenten, bereiken we realtime herbelichting met ruimtelijk hoogfrequente reflecties met behulp van sferische Gaussians. Dit uiterlijkmodel kan efficiënt worden herbelicht onder zowel puntlicht als continue verlichting. We verbeteren verder de nauwkeurigheid van oogreflecties en maken expliciete blikcontrole mogelijk door herbelichtbare expliciete oogmodellen te introduceren. Onze methode overtreft bestaande benaderingen zonder in te leveren op realtime prestaties. We demonstreren ook realtime herbelichting van avatars op een gekoppelde consumenten-VR-headset, wat de efficiëntie en nauwkeurigheid van onze avatars aantoont.

English

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.