RRM: Herlichtbare assets met behulp van Radiance-geleide Materiaalextractie

RRM: Relightable assets using Radiance guided Material extraction

July 8, 2024

Auteurs: Diego Gomez, Julien Philip, Adrien Kaiser, Élie Michel

cs.AI

Samenvatting

Het synthetiseren van NeRF's onder willekeurige belichting is de afgelopen jaren een fundamenteel probleem geworden. Recente inspanningen pakken het probleem aan via de extractie van fysiek gebaseerde parameters die vervolgens onder willekeurige belichting kunnen worden weergegeven, maar ze zijn beperkt in het bereik van scènes die ze aankunnen, waarbij meestal glanzende scènes verkeerd worden behandeld. Wij stellen RRM voor, een methode die de materialen, geometrie en omgevingsbelichting van een scène kan extraheren, zelfs in aanwezigheid van sterk reflecterende objecten. Onze methode bestaat uit een fysiek bewuste radiance field-representatie die fysiek gebaseerde parameters informeert, en een expressieve omgevingslichtstructuur gebaseerd op een Laplaciaanse piramide. We tonen aan dat onze bijdragen de state-of-the-art overtreffen bij taken voor parameterretrieval, wat leidt tot hoogwaardige herbelichting en synthese van nieuwe gezichtspunten op oppervlakkige scènes.

English

Synthesizing NeRFs under arbitrary lighting has become a seminal problem in the last few years. Recent efforts tackle the problem via the extraction of physically-based parameters that can then be rendered under arbitrary lighting, but they are limited in the range of scenes they can handle, usually mishandling glossy scenes. We propose RRM, a method that can extract the materials, geometry, and environment lighting of a scene even in the presence of highly reflective objects. Our method consists of a physically-aware radiance field representation that informs physically-based parameters, and an expressive environment light structure based on a Laplacian Pyramid. We demonstrate that our contributions outperform the state-of-the-art on parameter retrieval tasks, leading to high-fidelity relighting and novel view synthesis on surfacic scenes.