RRM: Activos relumbrantes utilizando Extracción de Material guiada por Radiación.

RRM: Relightable assets using Radiance guided Material extraction

July 8, 2024

Autores: Diego Gomez, Julien Philip, Adrien Kaiser, Élie Michel

cs.AI

Resumen

La síntesis de NeRFs bajo iluminación arbitraria se ha convertido en un problema fundamental en los últimos años. Los esfuerzos recientes abordan el problema mediante la extracción de parámetros basados en la física que luego pueden ser renderizados bajo iluminación arbitraria, pero están limitados en el rango de escenas que pueden manejar, generalmente manejando de forma incorrecta escenas brillantes. Proponemos RRM, un método que puede extraer los materiales, la geometría y la iluminación del entorno de una escena incluso en presencia de objetos altamente reflectantes. Nuestro método consiste en una representación de campo de radiación físicamente consciente que informa sobre parámetros basados en la física, y una estructura de iluminación del entorno expresiva basada en una Pirámide Laplaciana. Demostramos que nuestras contribuciones superan al estado del arte en tareas de recuperación de parámetros, lo que conduce a una reiluminación de alta fidelidad y síntesis de vistas novedosas en escenas superficiales.

English

Synthesizing NeRFs under arbitrary lighting has become a seminal problem in the last few years. Recent efforts tackle the problem via the extraction of physically-based parameters that can then be rendered under arbitrary lighting, but they are limited in the range of scenes they can handle, usually mishandling glossy scenes. We propose RRM, a method that can extract the materials, geometry, and environment lighting of a scene even in the presence of highly reflective objects. Our method consists of a physically-aware radiance field representation that informs physically-based parameters, and an expressive environment light structure based on a Laplacian Pyramid. We demonstrate that our contributions outperform the state-of-the-art on parameter retrieval tasks, leading to high-fidelity relighting and novel view synthesis on surfacic scenes.