Relighting des Champs de Radiance Neuronaux avec des Indices d'Ombre et de Reflet

Relighting Neural Radiance Fields with Shadow and Highlight Hints

August 25, 2023

Auteurs: Chong Zeng, Guojun Chen, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong

cs.AI

Résumé

Cet article présente une nouvelle représentation neurale implicite de la radiance pour le rééclairage à partir de points de vue libres, à partir d'un petit ensemble de photographies non structurées d'un objet éclairé par une source lumineuse ponctuelle en mouvement, distincte de la position de vue. Nous exprimons la forme comme une fonction de distance signée modélisée par un perceptron multicouche. Contrairement aux représentations neurales implicites rééclairables précédentes, nous ne dissocions pas les différents composants de réflectance, mais modélisons à la fois la réflectance locale et globale en chaque point par un second perceptron multicouche qui, en plus des caractéristiques de densité, de la position actuelle, de la normale (issue de la fonction de distance signée), de la direction de vue et de la position de la lumière, prend également en compte des indices d'ombre et de reflet pour aider le réseau à modéliser les effets de transport de lumière à haute fréquence correspondants. Ces indices sont fournis comme suggestion, et nous laissons au réseau le soin de décider comment les intégrer dans le résultat final de rééclairage. Nous démontrons et validons notre représentation neurale implicite sur des scènes synthétiques et réelles présentant une grande variété de formes, de propriétés matérielles et de transport de lumière en illumination globale.

English

This paper presents a novel neural implicit radiance representation for free viewpoint relighting from a small set of unstructured photographs of an object lit by a moving point light source different from the view position. We express the shape as a signed distance function modeled by a multi layer perceptron. In contrast to prior relightable implicit neural representations, we do not disentangle the different reflectance components, but model both the local and global reflectance at each point by a second multi layer perceptron that, in addition, to density features, the current position, the normal (from the signed distace function), view direction, and light position, also takes shadow and highlight hints to aid the network in modeling the corresponding high frequency light transport effects. These hints are provided as a suggestion, and we leave it up to the network to decide how to incorporate these in the final relit result. We demonstrate and validate our neural implicit representation on synthetic and real scenes exhibiting a wide variety of shapes, material properties, and global illumination light transport.