Neurale Radiance Fields mit Schatten- und Highlight-Hinweisen neu beleuchten

Relighting Neural Radiance Fields with Shadow and Highlight Hints

August 25, 2023

Autoren: Chong Zeng, Guojun Chen, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong

cs.AI

Zusammenfassung

Dieses Papier stellt eine neuartige neurale implizite Radianzdarstellung für die freie Blickwinkelbeleuchtung aus einer kleinen Menge unstrukturierter Fotografien eines Objekts vor, das von einer sich bewegenden Punktlichtquelle beleuchtet wird, die sich von der Blickposition unterscheidet. Wir repräsentieren die Form als eine durch ein mehrschichtiges Perzeptron modellierte signierte Distanzfunktion. Im Gegensatz zu früheren beleuchtungsfähigen impliziten neuronalen Darstellungen trennen wir nicht die verschiedenen Reflexionskomponenten, sondern modellieren sowohl die lokale als auch die globale Reflexion an jedem Punkt durch ein zweites mehrschichtiges Perzeptron, das zusätzlich zu Dichtefeatures, der aktuellen Position, der Normalen (aus der signierten Distanzfunktion), der Blickrichtung und der Lichtposition auch Schatten- und Highlight-Hinweise verwendet, um dem Netzwerk bei der Modellierung der entsprechenden hochfrequenten Lichttransporteffekte zu helfen. Diese Hinweise werden als Vorschlag bereitgestellt, und wir überlassen es dem Netzwerk, zu entscheiden, wie diese in das endgültige beleuchtete Ergebnis integriert werden sollen. Wir demonstrieren und validieren unsere neurale implizite Darstellung an synthetischen und realen Szenen, die eine Vielzahl von Formen, Materialeigenschaften und globalen Beleuchtungstransporteffekten aufweisen.

English

This paper presents a novel neural implicit radiance representation for free viewpoint relighting from a small set of unstructured photographs of an object lit by a moving point light source different from the view position. We express the shape as a signed distance function modeled by a multi layer perceptron. In contrast to prior relightable implicit neural representations, we do not disentangle the different reflectance components, but model both the local and global reflectance at each point by a second multi layer perceptron that, in addition, to density features, the current position, the normal (from the signed distace function), view direction, and light position, also takes shadow and highlight hints to aid the network in modeling the corresponding high frequency light transport effects. These hints are provided as a suggestion, and we leave it up to the network to decide how to incorporate these in the final relit result. We demonstrate and validate our neural implicit representation on synthetic and real scenes exhibiting a wide variety of shapes, material properties, and global illumination light transport.