Reiluminación de Campos de Radiancia Neurales con Indicaciones de Sombra y Resaltado

Relighting Neural Radiance Fields with Shadow and Highlight Hints

August 25, 2023

Autores: Chong Zeng, Guojun Chen, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong

cs.AI

Resumen

Este artículo presenta una novedosa representación neural implícita de radiancia para la reiluminación desde puntos de vista libres, utilizando un pequeño conjunto de fotografías no estructuradas de un objeto iluminado por una fuente de luz puntual en movimiento, diferente a la posición de la cámara. Representamos la forma como una función de distancia con signo modelada por un perceptrón multicapa. A diferencia de representaciones neurales implícitas reiluminables previas, no separamos los diferentes componentes de reflectancia, sino que modelamos tanto la reflectancia local como global en cada punto mediante un segundo perceptrón multicapa que, además de las características de densidad, la posición actual, la normal (derivada de la función de distancia con signo), la dirección de visión y la posición de la luz, también incorpora sugerencias de sombras y reflejos para ayudar a la red a modelar los correspondientes efectos de transporte de luz de alta frecuencia. Estas sugerencias se proporcionan como indicaciones, dejando que la red decida cómo incorporarlas en el resultado final reiluminado. Demostramos y validamos nuestra representación neural implícita en escenas sintéticas y reales que exhiben una amplia variedad de formas, propiedades de materiales y transporte de iluminación global.

English

This paper presents a novel neural implicit radiance representation for free viewpoint relighting from a small set of unstructured photographs of an object lit by a moving point light source different from the view position. We express the shape as a signed distance function modeled by a multi layer perceptron. In contrast to prior relightable implicit neural representations, we do not disentangle the different reflectance components, but model both the local and global reflectance at each point by a second multi layer perceptron that, in addition, to density features, the current position, the normal (from the signed distace function), view direction, and light position, also takes shadow and highlight hints to aid the network in modeling the corresponding high frequency light transport effects. These hints are provided as a suggestion, and we leave it up to the network to decide how to incorporate these in the final relit result. We demonstrate and validate our neural implicit representation on synthetic and real scenes exhibiting a wide variety of shapes, material properties, and global illumination light transport.