SpecNeRF: Codificação Gaussiana Direcional para Reflexões Especulares
SpecNeRF: Gaussian Directional Encoding for Specular Reflections
December 20, 2023
Autores: Li Ma, Vasu Agrawal, Haithem Turki, Changil Kim, Chen Gao, Pedro Sander, Michael Zollhöfer, Christian Richardt
cs.AI
Resumo
Campos de radiação neural têm alcançado desempenho notável na modelagem da aparência de cenas 3D. No entanto, as abordagens existentes ainda enfrentam dificuldades com a aparência dependente da vista em superfícies brilhantes, especialmente sob iluminação complexa de ambientes internos. Diferentemente dos métodos atuais, que geralmente assumem iluminação distante, como um mapa de ambiente, propomos uma codificação direcional Gaussiana aprendível para modelar melhor os efeitos dependentes da vista sob condições de iluminação de campo próximo. De forma crucial, nossa nova codificação direcional captura a natureza espacialmente variável da iluminação de campo próximo e emula o comportamento de mapas de ambiente pré-filtrados. Como resultado, ela permite a avaliação eficiente da cor especular pré-convolvida em qualquer localização 3D com coeficientes de rugosidade variáveis. Além disso, introduzimos um prior geométrico baseado em dados que ajuda a aliviar a ambiguidade entre forma e radiação na modelagem de reflexões. Demonstramos que nossa codificação direcional Gaussiana e o prior geométrico melhoram significativamente a modelagem de reflexões especulares desafiadoras em campos de radiação neural, o que ajuda a decompor a aparência em componentes fisicamente mais significativos.
English
Neural radiance fields have achieved remarkable performance in modeling the
appearance of 3D scenes. However, existing approaches still struggle with the
view-dependent appearance of glossy surfaces, especially under complex lighting
of indoor environments. Unlike existing methods, which typically assume distant
lighting like an environment map, we propose a learnable Gaussian directional
encoding to better model the view-dependent effects under near-field lighting
conditions. Importantly, our new directional encoding captures the
spatially-varying nature of near-field lighting and emulates the behavior of
prefiltered environment maps. As a result, it enables the efficient evaluation
of preconvolved specular color at any 3D location with varying roughness
coefficients. We further introduce a data-driven geometry prior that helps
alleviate the shape radiance ambiguity in reflection modeling. We show that our
Gaussian directional encoding and geometry prior significantly improve the
modeling of challenging specular reflections in neural radiance fields, which
helps decompose appearance into more physically meaningful components.