SpecNeRF : Encodage directionnel gaussien pour les réflexions spéculaires

SpecNeRF: Gaussian Directional Encoding for Specular Reflections

December 20, 2023

Auteurs: Li Ma, Vasu Agrawal, Haithem Turki, Changil Kim, Chen Gao, Pedro Sander, Michael Zollhöfer, Christian Richardt

cs.AI

Résumé

Les champs de radiance neuronaux ont obtenu des performances remarquables dans la modélisation de l'apparence de scènes 3D. Cependant, les approches existantes peinent encore à reproduire l'apparence dépendante de la vue des surfaces brillantes, en particulier sous un éclairage complexe d'environnements intérieurs. Contrairement aux méthodes existantes, qui supposent généralement un éclairage distant comme une carte d'environnement, nous proposons un encodage directionnel gaussien apprenable pour mieux modéliser les effets dépendants de la vue dans des conditions d'éclairage de champ proche. De manière cruciale, notre nouvel encodage directionnel capture la nature spatialement variable de l'éclairage de champ proche et reproduit le comportement des cartes d'environnement préfiltrées. En conséquence, il permet l'évaluation efficace de la couleur spéculaire préconvoluée à n'importe quel emplacement 3D avec des coefficients de rugosité variables. Nous introduisons également un a priori géométrique basé sur les données qui aide à atténuer l'ambiguïté de radiance de forme dans la modélisation des réflexions. Nous démontrons que notre encodage directionnel gaussien et l'a priori géométrique améliorent significativement la modélisation des réflexions spéculaires complexes dans les champs de radiance neuronaux, ce qui permet de décomposer l'apparence en composants physiquement plus significatifs.

English

Neural radiance fields have achieved remarkable performance in modeling the appearance of 3D scenes. However, existing approaches still struggle with the view-dependent appearance of glossy surfaces, especially under complex lighting of indoor environments. Unlike existing methods, which typically assume distant lighting like an environment map, we propose a learnable Gaussian directional encoding to better model the view-dependent effects under near-field lighting conditions. Importantly, our new directional encoding captures the spatially-varying nature of near-field lighting and emulates the behavior of prefiltered environment maps. As a result, it enables the efficient evaluation of preconvolved specular color at any 3D location with varying roughness coefficients. We further introduce a data-driven geometry prior that helps alleviate the shape radiance ambiguity in reflection modeling. We show that our Gaussian directional encoding and geometry prior significantly improve the modeling of challenging specular reflections in neural radiance fields, which helps decompose appearance into more physically meaningful components.