シャドウとハイライトのヒントを用いたニューラルラジアンスフィールドの再照明

要旨

本論文では、視点位置とは異なる移動点光源で照明された物体の少数の非構造化写真から、自由視点再照明を行うための新しいニューラル暗黙的放射輝度表現を提案する。形状を多層パーセプトロンによってモデル化された符号付き距離関数として表現する。従来の再照明可能な暗黙的ニューラル表現とは異なり、異なる反射成分を分離せず、各点における局所的および大域的な反射を第2の多層パーセプトロンによってモデル化する。このネットワークは、密度特徴、現在位置、符号付き距離関数から得られる法線、視線方向、光源位置に加えて、シャドウとハイライトのヒントも入力として受け取り、対応する高周波光輸送効果をモデル化するのに役立てる。これらのヒントは提案として提供され、最終的な再照明結果にどのように組み込むかはネットワークに委ねられる。本手法のニューラル暗黙的表現を、多様な形状、材質特性、大域照明光輸送を示す合成シーンと実シーンで実証し、検証する。

English

This paper presents a novel neural implicit radiance representation for free viewpoint relighting from a small set of unstructured photographs of an object lit by a moving point light source different from the view position. We express the shape as a signed distance function modeled by a multi layer perceptron. In contrast to prior relightable implicit neural representations, we do not disentangle the different reflectance components, but model both the local and global reflectance at each point by a second multi layer perceptron that, in addition, to density features, the current position, the normal (from the signed distace function), view direction, and light position, also takes shadow and highlight hints to aid the network in modeling the corresponding high frequency light transport effects. These hints are provided as a suggestion, and we leave it up to the network to decide how to incorporate these in the final relit result. We demonstrate and validate our neural implicit representation on synthetic and real scenes exhibiting a wide variety of shapes, material properties, and global illumination light transport.

シャドウとハイライトのヒントを用いたニューラルラジアンスフィールドの再照明

Relighting Neural Radiance Fields with Shadow and Highlight Hints

要旨

Support