Reiluminação de Campos de Radiação Neural com Dicas de Sombra e Realce
Relighting Neural Radiance Fields with Shadow and Highlight Hints
August 25, 2023
Autores: Chong Zeng, Guojun Chen, Yue Dong, Pieter Peers, Hongzhi Wu, Xin Tong
cs.AI
Resumo
Este artigo apresenta uma nova representação neural implícita de radiância para reiluminação de ponto de vista livre a partir de um pequeno conjunto de fotografias não estruturadas de um objeto iluminado por uma fonte de luz pontual em movimento, diferente da posição de visualização. Expressamos a forma como uma função de distância sinalizada modelada por um perceptron multicamadas. Em contraste com representações neurais implícitas reilumináveis anteriores, não separamos os diferentes componentes de refletância, mas modelamos tanto a refletância local quanto global em cada ponto por meio de um segundo perceptron multicamadas que, além de características de densidade, da posição atual, da normal (obtida da função de distância sinalizada), da direção de visualização e da posição da luz, também utiliza sugestões de sombras e realces para auxiliar a rede na modelagem dos correspondentes efeitos de transporte de luz de alta frequência. Essas sugestões são fornecidas como uma indicação, e deixamos a cargo da rede decidir como incorporá-las no resultado final reiluminado. Demonstramos e validamos nossa representação neural implícita em cenas sintéticas e reais que exibem uma ampla variedade de formas, propriedades de materiais e transporte de luz de iluminação global.
English
This paper presents a novel neural implicit radiance representation for free
viewpoint relighting from a small set of unstructured photographs of an object
lit by a moving point light source different from the view position. We express
the shape as a signed distance function modeled by a multi layer perceptron. In
contrast to prior relightable implicit neural representations, we do not
disentangle the different reflectance components, but model both the local and
global reflectance at each point by a second multi layer perceptron that, in
addition, to density features, the current position, the normal (from the
signed distace function), view direction, and light position, also takes shadow
and highlight hints to aid the network in modeling the corresponding high
frequency light transport effects. These hints are provided as a suggestion,
and we leave it up to the network to decide how to incorporate these in the
final relit result. We demonstrate and validate our neural implicit
representation on synthetic and real scenes exhibiting a wide variety of
shapes, material properties, and global illumination light transport.