RRM: Asset rilucidabili utilizzando l'estrazione di materiali guidata dalla Radianza

RRM: Relightable assets using Radiance guided Material extraction

July 8, 2024

Autori: Diego Gomez, Julien Philip, Adrien Kaiser, Élie Michel

cs.AI

Abstract

La sintesi di NeRF con illuminazione arbitraria è diventata un problema fondamentale negli ultimi anni. I recenti tentativi affrontano il problema attraverso l'estrazione di parametri fisicamente basati che possono poi essere renderizzati con illuminazione arbitraria, ma sono limitati nella gamma di scene che possono gestire, solitamente gestendo male le scene lucide. Proponiamo RRM, un metodo in grado di estrarre i materiali, la geometria e l'illuminazione ambientale di una scena anche in presenza di oggetti altamente riflettenti. Il nostro metodo consiste in una rappresentazione del campo di radianza fisicamente consapevole che informa i parametri fisicamente basati, e in una struttura espressiva dell'illuminazione ambientale basata su una Piramide Laplaciana. Dimostriamo che i nostri contributi superano lo stato dell'arte nelle attività di recupero dei parametri, portando a una ricostruzione fedele dell'illuminazione e alla sintesi di nuove viste su scene superficiali.

English

Synthesizing NeRFs under arbitrary lighting has become a seminal problem in the last few years. Recent efforts tackle the problem via the extraction of physically-based parameters that can then be rendered under arbitrary lighting, but they are limited in the range of scenes they can handle, usually mishandling glossy scenes. We propose RRM, a method that can extract the materials, geometry, and environment lighting of a scene even in the presence of highly reflective objects. Our method consists of a physically-aware radiance field representation that informs physically-based parameters, and an expressive environment light structure based on a Laplacian Pyramid. We demonstrate that our contributions outperform the state-of-the-art on parameter retrieval tasks, leading to high-fidelity relighting and novel view synthesis on surfacic scenes.