Rilluminazione dei Neural Radiance Fields con suggerimenti di ombre e luci

Relighting Neural Radiance Fields with Shadow and Highlight Hints

August 25, 2023

Autori: Chong Zeng, Guojun Chen, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong

cs.AI

Abstract

Questo articolo presenta una nuova rappresentazione neurale implicita della radianza per il reilluminamento da punti di vista liberi a partire da un piccolo insieme di fotografie non strutturate di un oggetto illuminato da una sorgente luminosa puntiforme in movimento, diversa dalla posizione di visualizzazione. Esprimiamo la forma come una funzione di distanza con segno modellata da un perceptron multistrato. A differenza delle precedenti rappresentazioni neurali implicite reilluminabili, non separiamo i diversi componenti di riflettanza, ma modelliamo sia la riflettanza locale che globale in ogni punto mediante un secondo perceptron multistrato che, oltre alle caratteristiche di densità, alla posizione corrente, alla normale (dalla funzione di distanza con segno), alla direzione di visualizzazione e alla posizione della luce, utilizza anche suggerimenti di ombre e luci per aiutare la rete a modellare i corrispondenti effetti di trasporto della luce ad alta frequenza. Questi suggerimenti vengono forniti come indicazioni, lasciando alla rete la decisione su come incorporarli nel risultato finale di reilluminamento. Dimostriamo e validiamo la nostra rappresentazione neurale implicita su scene sintetiche e reali che presentano una vasta gamma di forme, proprietà dei materiali e trasporto della luce nell'illuminazione globale.

English

This paper presents a novel neural implicit radiance representation for free viewpoint relighting from a small set of unstructured photographs of an object lit by a moving point light source different from the view position. We express the shape as a signed distance function modeled by a multi layer perceptron. In contrast to prior relightable implicit neural representations, we do not disentangle the different reflectance components, but model both the local and global reflectance at each point by a second multi layer perceptron that, in addition, to density features, the current position, the normal (from the signed distace function), view direction, and light position, also takes shadow and highlight hints to aid the network in modeling the corresponding high frequency light transport effects. These hints are provided as a suggestion, and we leave it up to the network to decide how to incorporate these in the final relit result. We demonstrate and validate our neural implicit representation on synthetic and real scenes exhibiting a wide variety of shapes, material properties, and global illumination light transport.