Avatares Codificados en Gaussianas Reluminosos

Resumen

La fidelidad de la reluminación está limitada tanto por las representaciones de geometría como de apariencia. En cuanto a la geometría, tanto los enfoques basados en mallas como los volumétricos tienen dificultades para modelar estructuras intrincadas como la geometría 3D del cabello. Para la apariencia, los modelos de reluminación existentes tienen una fidelidad limitada y suelen ser demasiado lentos para renderizar en tiempo real con entornos continuos de alta resolución. En este trabajo, presentamos Relightable Gaussian Codec Avatars, un método para construir avatares de cabeza reluminables de alta fidelidad que pueden ser animados para generar nuevas expresiones. Nuestro modelo de geometría basado en Gaussianas 3D puede capturar detalles consistentes en 3D a nivel sub-milimétrico, como hebras de cabello y poros en secuencias faciales dinámicas. Para soportar diversos materiales de la cabeza humana, como los ojos, la piel y el cabello de manera unificada, presentamos un novedoso modelo de apariencia reluminable basado en transferencia de radiancia aprendible. Junto con los armónicos esféricos conscientes de la iluminación global para los componentes difusos, logramos una reluminación en tiempo real con reflexiones de todas las frecuencias espaciales utilizando Gaussianas esféricas. Este modelo de apariencia puede ser reluminado eficientemente tanto bajo iluminación puntual como continua. Además, mejoramos la fidelidad de las reflexiones oculares y habilitamos el control explícito de la mirada mediante la introducción de modelos oculares explícitos reluminables. Nuestro método supera a los enfoques existentes sin comprometer el rendimiento en tiempo real. También demostramos la reluminación en tiempo real de avatares en un casco de realidad virtual de consumo conectado, mostrando la eficiencia y fidelidad de nuestros avatares.

English

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.