Avatares Codificados em Gaussianas Reilumináveis

Resumo

A fidelidade da reiluminação é limitada tanto pelas representações de geometria quanto de aparência. Para a geometria, tanto abordagens baseadas em malha quanto volumétricas têm dificuldade em modelar estruturas intrincadas, como a geometria 3D de cabelos. Para a aparência, os modelos de reiluminação existentes são limitados em fidelidade e frequentemente muito lentos para renderização em tempo real com ambientes contínuos de alta resolução. Neste trabalho, apresentamos os Relightable Gaussian Codec Avatars, um método para construir avatares de cabeça reilumináveis de alta fidelidade que podem ser animados para gerar novas expressões. Nosso modelo de geometria baseado em Gaussianas 3D é capaz de capturar detalhes consistentes em 3D em escala sub-milimétrica, como fios de cabelo e poros em sequências dinâmicas de faces. Para suportar diversos materiais da cabeça humana, como olhos, pele e cabelos, de maneira unificada, apresentamos um novo modelo de aparência reiluminável baseado em transferência de radiância aprendível. Juntamente com harmônicos esféricos conscientes de iluminação global para os componentes difusos, alcançamos reiluminação em tempo real com reflexões espacialmente de todas as frequências usando Gaussianas esféricas. Este modelo de aparência pode ser eficientemente reiluminado tanto sob iluminação pontual quanto contínua. Melhoramos ainda mais a fidelidade das reflexões oculares e habilitamos o controle explícito do olhar ao introduzir modelos oculares explícitos reilumináveis. Nosso método supera as abordagens existentes sem comprometer o desempenho em tempo real. Também demonstramos a reiluminação em tempo real de avatares em um headset de VR consumer com fio, mostrando a eficiência e fidelidade de nossos avatares.

English

The fidelity of relighting is bounded by both geometry and appearance representations. For geometry, both mesh and volumetric approaches have difficulty modeling intricate structures like 3D hair geometry. For appearance, existing relighting models are limited in fidelity and often too slow to render in real-time with high-resolution continuous environments. In this work, we present Relightable Gaussian Codec Avatars, a method to build high-fidelity relightable head avatars that can be animated to generate novel expressions. Our geometry model based on 3D Gaussians can capture 3D-consistent sub-millimeter details such as hair strands and pores on dynamic face sequences. To support diverse materials of human heads such as the eyes, skin, and hair in a unified manner, we present a novel relightable appearance model based on learnable radiance transfer. Together with global illumination-aware spherical harmonics for the diffuse components, we achieve real-time relighting with spatially all-frequency reflections using spherical Gaussians. This appearance model can be efficiently relit under both point light and continuous illumination. We further improve the fidelity of eye reflections and enable explicit gaze control by introducing relightable explicit eye models. Our method outperforms existing approaches without compromising real-time performance. We also demonstrate real-time relighting of avatars on a tethered consumer VR headset, showcasing the efficiency and fidelity of our avatars.