SpecNeRF: Gaussiaanse Richtingscodering voor Speculaire Reflecties

SpecNeRF: Gaussian Directional Encoding for Specular Reflections

December 20, 2023

Auteurs: Li Ma, Vasu Agrawal, Haithem Turki, Changil Kim, Chen Gao, Pedro Sander, Michael Zollhöfer, Christian Richardt

cs.AI

Samenvatting

Neurale stralingsvelden hebben opmerkelijke prestaties geleverd bij het modelleren van het uiterlijk van 3D-scènes. Bestaande benaderingen hebben echter nog steeds moeite met het weergaveafhankelijke uiterlijk van glanzende oppervlakken, vooral onder complexe verlichting in binnenomgevingen. In tegenstelling tot bestaande methoden, die doorgaans uitgaan van verre verlichting zoals een omgevingskaart, stellen wij een leerbare Gaussische directionele codering voor om de weergaveafhankelijke effecten onder nabije-veld verlichtingsomstandigheden beter te modelleren. Belangrijk is dat onze nieuwe directionele codering de ruimtelijk variërende aard van nabije-veld verlichting vastlegt en het gedrag van voorgefilterde omgevingskaarten nabootst. Hierdoor maakt het een efficiënte evaluatie mogelijk van vooraf geconvolueerde speculaire kleur op elke 3D-locatie met variërende ruwheidscoëfficiënten. We introduceren verder een data-gestuurde geometrie-prior die helpt bij het verminderen van de vorm-stralingsambiguïteit in reflectiemodellering. We tonen aan dat onze Gaussische directionele codering en geometrie-prior het modelleren van uitdagende speculaire reflecties in neurale stralingsvelden aanzienlijk verbeteren, wat helpt om het uiterlijk te ontbinden in meer fysisch betekenisvolle componenten.

English

Neural radiance fields have achieved remarkable performance in modeling the appearance of 3D scenes. However, existing approaches still struggle with the view-dependent appearance of glossy surfaces, especially under complex lighting of indoor environments. Unlike existing methods, which typically assume distant lighting like an environment map, we propose a learnable Gaussian directional encoding to better model the view-dependent effects under near-field lighting conditions. Importantly, our new directional encoding captures the spatially-varying nature of near-field lighting and emulates the behavior of prefiltered environment maps. As a result, it enables the efficient evaluation of preconvolved specular color at any 3D location with varying roughness coefficients. We further introduce a data-driven geometry prior that helps alleviate the shape radiance ambiguity in reflection modeling. We show that our Gaussian directional encoding and geometry prior significantly improve the modeling of challenging specular reflections in neural radiance fields, which helps decompose appearance into more physically meaningful components.