Переосвещение нейронных полей излучения с использованием подсказок теней и бликов

Relighting Neural Radiance Fields with Shadow and Highlight Hints

August 25, 2023

Авторы: Chong Zeng, Guojun Chen, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong

cs.AI

Аннотация

В данной статье представлено новое нейронное неявное представление излучения для свободного изменения точки обзора и переосвещения на основе небольшого набора неструктурированных фотографий объекта, освещенного движущимся точечным источником света, отличным от позиции наблюдения. Мы выражаем форму объекта через функцию знакового расстояния, моделируемую многослойным перцептроном. В отличие от предыдущих переосвещаемых неявных нейронных представлений, мы не разделяем различные компоненты отражения, а моделируем как локальное, так и глобальное отражение в каждой точке с помощью второго многослойного перцептрона, который, помимо характеристик плотности, текущей позиции, нормали (полученной из функции знакового расстояния), направления обзора и позиции света, также учитывает подсказки теней и бликов, чтобы помочь сети моделировать соответствующие высокочастотные эффекты транспортировки света. Эти подсказки предоставляются в качестве рекомендации, и мы оставляем за сетью право решать, как включить их в итоговый результат переосвещения. Мы демонстрируем и подтверждаем наше нейронное неявное представление на синтетических и реальных сценах, демонстрирующих широкий спектр форм, свойств материалов и глобального освещения с учетом транспортировки света.

English

This paper presents a novel neural implicit radiance representation for free viewpoint relighting from a small set of unstructured photographs of an object lit by a moving point light source different from the view position. We express the shape as a signed distance function modeled by a multi layer perceptron. In contrast to prior relightable implicit neural representations, we do not disentangle the different reflectance components, but model both the local and global reflectance at each point by a second multi layer perceptron that, in addition, to density features, the current position, the normal (from the signed distace function), view direction, and light position, also takes shadow and highlight hints to aid the network in modeling the corresponding high frequency light transport effects. These hints are provided as a suggestion, and we leave it up to the network to decide how to incorporate these in the final relit result. We demonstrate and validate our neural implicit representation on synthetic and real scenes exhibiting a wide variety of shapes, material properties, and global illumination light transport.