RRM: Ativos reluzentes usando Extração de Material guiada por Radiância
RRM: Relightable assets using Radiance guided Material extraction
July 8, 2024
Autores: Diego Gomez, Julien Philip, Adrien Kaiser, Élie Michel
cs.AI
Resumo
A síntese de NeRFs sob iluminação arbitrária tornou-se um problema seminal nos últimos anos. Esforços recentes abordam o problema por meio da extração de parâmetros baseados em física que podem então ser renderizados sob iluminação arbitrária, mas eles são limitados na variedade de cenas que podem lidar, geralmente lidando mal com cenas brilhantes. Propomos RRM, um método que pode extrair os materiais, geometria e iluminação do ambiente de uma cena mesmo na presença de objetos altamente reflexivos. Nosso método consiste em uma representação de campo de radiância fisicamente consciente que informa parâmetros baseados em física, e uma estrutura de luz de ambiente expressiva baseada em uma Pirâmide Laplaciana. Demonstramos que nossas contribuições superam o estado da arte em tarefas de recuperação de parâmetros, levando a uma reluzência de alta fidelidade e síntese de novas visualizações em cenas superficiais.
English
Synthesizing NeRFs under arbitrary lighting has become a seminal problem in
the last few years. Recent efforts tackle the problem via the extraction of
physically-based parameters that can then be rendered under arbitrary lighting,
but they are limited in the range of scenes they can handle, usually
mishandling glossy scenes. We propose RRM, a method that can extract the
materials, geometry, and environment lighting of a scene even in the presence
of highly reflective objects. Our method consists of a physically-aware
radiance field representation that informs physically-based parameters, and an
expressive environment light structure based on a Laplacian Pyramid. We
demonstrate that our contributions outperform the state-of-the-art on parameter
retrieval tasks, leading to high-fidelity relighting and novel view synthesis
on surfacic scenes.