Avatar Codificati con Gaussiane Rilluminabili

Abstract

La fedeltà del reilluminamento è limitata sia dalle rappresentazioni geometriche che da quelle dell'aspetto. Per quanto riguarda la geometria, sia gli approcci basati su mesh che quelli volumetrici incontrano difficoltà nel modellare strutture intricate come la geometria 3D dei capelli. Per l'aspetto, i modelli di reilluminamento esistenti sono limitati in termini di fedeltà e spesso troppo lenti per il rendering in tempo reale con ambienti continui ad alta risoluzione. In questo lavoro, presentiamo Relightable Gaussian Codec Avatars, un metodo per costruire avatar di testa reilluminabili ad alta fedeltà che possono essere animati per generare nuove espressioni. Il nostro modello geometrico basato su Gaussiane 3D è in grado di catturare dettagli consistenti in 3D a livello sub-millimetrico, come ciocche di capelli e pori, su sequenze dinamiche del volto. Per supportare in modo unificato i diversi materiali della testa umana, come occhi, pelle e capelli, presentiamo un nuovo modello di aspetto reilluminabile basato sul trasferimento di radianza apprendibile. Insieme alle armoniche sferiche consapevoli dell'illuminazione globale per le componenti diffuse, otteniamo un reilluminamento in tempo reale con riflessioni a tutte le frequenze spaziali utilizzando Gaussiane sferiche. Questo modello di aspetto può essere efficientemente reilluminato sia sotto luce puntiforme che sotto illuminazione continua. Miglioriamo ulteriormente la fedeltà delle riflessioni degli occhi e abilitiamo il controllo esplicito dello sguardo introducendo modelli oculari espliciti reilluminabili. Il nostro metodo supera gli approcci esistenti senza compromettere le prestazioni in tempo reale. Dimostriamo inoltre il reilluminamento in tempo reale degli avatar su un visore VR consumer cablato, mostrando l'efficienza e la fedeltà dei nostri avatar.

English

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.