SpecNeRF: 스펙큘러 반사를 위한 가우시안 방향성 인코딩
SpecNeRF: Gaussian Directional Encoding for Specular Reflections
December 20, 2023
저자: Li Ma, Vasu Agrawal, Haithem Turki, Changil Kim, Chen Gao, Pedro Sander, Michael Zollhöfer, Christian Richardt
cs.AI
초록
신경 방사 필드(Neural Radiance Fields)는 3D 장면의 외관을 모델링하는 데 있어 뛰어난 성능을 달성하였다. 그러나 기존 접근법들은 여전히 광택 표면의 시점 의존적 외관, 특히 복잡한 실내 환경 조명 하에서의 모델링에 어려움을 겪고 있다. 일반적으로 환경 맵과 같은 원거리 조명을 가정하는 기존 방법과 달리, 우리는 근거리 조명 조건 하에서의 시점 의존적 효과를 더 잘 모델링하기 위해 학습 가능한 가우시안 방향 인코딩을 제안한다. 특히, 우리의 새로운 방향 인코딩은 근거리 조명의 공간적으로 변화하는 특성을 포착하고, 사전 필터링된 환경 맵의 동작을 모방한다. 그 결과, 다양한 거칠기 계수를 가진 3D 위치에서의 사전 컨볼루션된 스펙큘러 색상을 효율적으로 평가할 수 있게 된다. 또한, 우리는 반사 모델링에서 형상과 방사 간의 모호성을 완화하는 데 도움이 되는 데이터 기반 형상 사전 정보를 도입한다. 우리는 가우시안 방향 인코딩과 형상 사전 정보가 신경 방사 필드에서의 도전적인 스펙큘러 반사 모델링을 크게 개선하며, 외관을 더 물리적으로 의미 있는 구성 요소로 분해하는 데 도움이 됨을 보여준다.
English
Neural radiance fields have achieved remarkable performance in modeling the
appearance of 3D scenes. However, existing approaches still struggle with the
view-dependent appearance of glossy surfaces, especially under complex lighting
of indoor environments. Unlike existing methods, which typically assume distant
lighting like an environment map, we propose a learnable Gaussian directional
encoding to better model the view-dependent effects under near-field lighting
conditions. Importantly, our new directional encoding captures the
spatially-varying nature of near-field lighting and emulates the behavior of
prefiltered environment maps. As a result, it enables the efficient evaluation
of preconvolved specular color at any 3D location with varying roughness
coefficients. We further introduce a data-driven geometry prior that helps
alleviate the shape radiance ambiguity in reflection modeling. We show that our
Gaussian directional encoding and geometry prior significantly improve the
modeling of challenging specular reflections in neural radiance fields, which
helps decompose appearance into more physically meaningful components.