Herbelichting van Neural Radiance Fields met Schaduw- en Hooglichtaanwijzingen

Relighting Neural Radiance Fields with Shadow and Highlight Hints

August 25, 2023

Auteurs: Chong Zeng, Guojun Chen, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong

cs.AI

Samenvatting

Dit artikel introduceert een nieuwe neurale impliciete radiance-representatie voor vrijstandpunt herbelichting vanuit een kleine set ongestructureerde foto's van een object dat wordt verlicht door een bewegende puntlichtbron die verschilt van de camerapositie. We drukken de vorm uit als een signed distance function gemodelleerd door een multi layer perceptron. In tegenstelling tot eerdere herbelichtbare impliciete neurale representaties, ontwarren we niet de verschillende reflectiecomponenten, maar modelleren we zowel de lokale als globale reflectie op elk punt door een tweede multi layer perceptron die, naast dichtheidskenmerken, de huidige positie, de normaal (afgeleid van de signed distance function), kijkrichting en lichtpositie, ook schaduw- en highlight-aanwijzingen gebruikt om het netwerk te helpen bij het modelleren van de bijbehorende hoogfrequente lichttransporteffecten. Deze aanwijzingen worden als suggestie aangeboden, en we laten het aan het netwerk over om te beslissen hoe deze in het uiteindelijke herbelichte resultaat worden opgenomen. We demonstreren en valideren onze neurale impliciete representatie op synthetische en echte scènes die een breed scala aan vormen, materiaaleigenschappen en globaal verlicht lichttransport vertonen.

English

This paper presents a novel neural implicit radiance representation for free viewpoint relighting from a small set of unstructured photographs of an object lit by a moving point light source different from the view position. We express the shape as a signed distance function modeled by a multi layer perceptron. In contrast to prior relightable implicit neural representations, we do not disentangle the different reflectance components, but model both the local and global reflectance at each point by a second multi layer perceptron that, in addition, to density features, the current position, the normal (from the signed distace function), view direction, and light position, also takes shadow and highlight hints to aid the network in modeling the corresponding high frequency light transport effects. These hints are provided as a suggestion, and we leave it up to the network to decide how to incorporate these in the final relit result. We demonstrate and validate our neural implicit representation on synthetic and real scenes exhibiting a wide variety of shapes, material properties, and global illumination light transport.