Relightbare Gaußsche Codec-Avatare

Zusammenfassung

Die Qualität der Neubeleuchtung wird sowohl durch die Geometrie- als auch durch die Darstellung der Erscheinung begrenzt. Bei der Geometrie haben sowohl Mesh- als auch volumetrische Ansätze Schwierigkeiten, komplexe Strukturen wie 3D-Haargeometrie zu modellieren. Bei der Erscheinung sind bestehende Neubeleuchtungsmodelle in ihrer Qualität eingeschränkt und oft zu langsam, um in Echtzeit mit hochauflösenden, kontinuierlichen Umgebungen gerendert zu werden. In dieser Arbeit präsentieren wir Relightable Gaussian Codec Avatars, eine Methode zur Erstellung hochwertiger, neubeleuchtbarer Kopfavatare, die animiert werden können, um neue Ausdrücke zu erzeugen. Unser Geometriemodell basiert auf 3D-Gaußschen und kann 3D-konsistente Details im Submillimeterbereich wie Haare und Poren in dynamischen Gesichtssequenzen erfassen. Um verschiedene Materialien des menschlichen Kopfes wie Augen, Haut und Haare einheitlich zu unterstützen, stellen wir ein neuartiges neubeleuchtbares Erscheinungsmodell basierend auf lernbarer Strahlungstransfer vor. Zusammen mit global beleuchtungsbewussten sphärischen Harmonischen für die diffusen Komponenten erreichen wir eine Echtzeit-Neubeleuchtung mit räumlich hochfrequenten Reflexionen unter Verwendung von sphärischen Gaußschen. Dieses Erscheinungsmodell kann effizient sowohl unter Punktlicht als auch unter kontinuierlicher Beleuchtung neu beleuchtet werden. Wir verbessern weiterhin die Qualität der Augenreflexionen und ermöglichen eine explizite Blicksteuerung durch die Einführung von neubeleuchtbaren expliziten Augenmodellen. Unsere Methode übertrifft bestehende Ansätze, ohne die Echtzeitleistung zu beeinträchtigen. Wir demonstrieren auch die Echtzeit-Neubeleuchtung von Avataren auf einem kabelgebundenen Consumer-VR-Headset, was die Effizienz und Qualität unserer Avatare unterstreicht.

English

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.