그림자와 하이라이트 힌트를 활용한 신경 방사 필드의 재조명

초록

본 논문은 이동하는 점 광원에 의해 조명된 물체의 비정형 사진 소집단으로부터 자유 시점 재조명을 위한 새로운 신경 암시적 복사 표현을 제시한다. 우리는 다층 퍼셉트론으로 모델링된 부호 거리 함수로 형상을 표현한다. 기존의 재조명 가능한 암시적 신경 표현과 달리, 우리는 다양한 반사 성분을 분리하지 않고, 밀도 특성, 현재 위치, 부호 거리 함수로부터의 법선, 시점 방향, 광원 위치 외에도 그림자와 하이라이트 힌트를 추가로 입력받는 두 번째 다층 퍼셉트론을 통해 각 점에서의 지역적 및 전역적 반사를 모델링한다. 이러한 힌트는 제안으로 제공되며, 최종 재조명 결과에 이를 어떻게 통합할지는 네트워크의 판단에 맡긴다. 우리는 다양한 형상, 재질 속성, 전역 조명 광 전송을 보여주는 합성 및 실제 장면에서 이 신경 암시적 표현을 입증하고 검증한다.

English

This paper presents a novel neural implicit radiance representation for free viewpoint relighting from a small set of unstructured photographs of an object lit by a moving point light source different from the view position. We express the shape as a signed distance function modeled by a multi layer perceptron. In contrast to prior relightable implicit neural representations, we do not disentangle the different reflectance components, but model both the local and global reflectance at each point by a second multi layer perceptron that, in addition, to density features, the current position, the normal (from the signed distace function), view direction, and light position, also takes shadow and highlight hints to aid the network in modeling the corresponding high frequency light transport effects. These hints are provided as a suggestion, and we leave it up to the network to decide how to incorporate these in the final relit result. We demonstrate and validate our neural implicit representation on synthetic and real scenes exhibiting a wide variety of shapes, material properties, and global illumination light transport.

그림자와 하이라이트 힌트를 활용한 신경 방사 필드의 재조명

Relighting Neural Radiance Fields with Shadow and Highlight Hints

초록

Support