SpecNeRF: Codificación Direccional Gaussiana para Reflexiones Especulares

SpecNeRF: Gaussian Directional Encoding for Specular Reflections

December 20, 2023

Autores: Li Ma, Vasu Agrawal, Haithem Turki, Changil Kim, Chen Gao, Pedro Sander, Michael Zollhöfer, Christian Richardt

cs.AI

Resumen

Los campos de radiancia neural han logrado un rendimiento notable en el modelado de la apariencia de escenas 3D. Sin embargo, los enfoques existentes aún tienen dificultades con la apariencia dependiente de la vista en superficies brillantes, especialmente bajo iluminación compleja en entornos interiores. A diferencia de los métodos actuales, que suelen asumir iluminación distante como un mapa de entorno, proponemos una codificación direccional gaussiana aprendible para modelar mejor los efectos dependientes de la vista en condiciones de iluminación de campo cercano. Es importante destacar que nuestra nueva codificación direccional captura la naturaleza espacialmente variable de la iluminación de campo cercano y emula el comportamiento de los mapas de entorno pre-filtrados. Como resultado, permite la evaluación eficiente del color especular preconvolucionado en cualquier ubicación 3D con coeficientes de rugosidad variables. Además, introducimos un previo geométrico basado en datos que ayuda a mitigar la ambigüedad entre forma y radiancia en el modelado de reflexiones. Demostramos que nuestra codificación direccional gaussiana y el previo geométrico mejoran significativamente el modelado de reflexiones especulares desafiantes en campos de radiancia neural, lo que ayuda a descomponer la apariencia en componentes físicamente más significativos.

English

Neural radiance fields have achieved remarkable performance in modeling the appearance of 3D scenes. However, existing approaches still struggle with the view-dependent appearance of glossy surfaces, especially under complex lighting of indoor environments. Unlike existing methods, which typically assume distant lighting like an environment map, we propose a learnable Gaussian directional encoding to better model the view-dependent effects under near-field lighting conditions. Importantly, our new directional encoding captures the spatially-varying nature of near-field lighting and emulates the behavior of prefiltered environment maps. As a result, it enables the efficient evaluation of preconvolved specular color at any 3D location with varying roughness coefficients. We further introduce a data-driven geometry prior that helps alleviate the shape radiance ambiguity in reflection modeling. We show that our Gaussian directional encoding and geometry prior significantly improve the modeling of challenging specular reflections in neural radiance fields, which helps decompose appearance into more physically meaningful components.