RRM: Wiederaufleuchtende Assets unter Verwendung von Strahlungsgesteuerter Material Extraktion.

RRM: Relightable assets using Radiance guided Material extraction

July 8, 2024

Autoren: Diego Gomez, Julien Philip, Adrien Kaiser, Élie Michel

cs.AI

Zusammenfassung

Die Synthese von NeRFs unter beliebiger Beleuchtung ist in den letzten Jahren zu einem wegweisenden Problem geworden. Aktuelle Bemühungen zur Bewältigung des Problems erfolgen durch die Extraktion physikalisch basierter Parameter, die dann unter beliebiger Beleuchtung gerendert werden können, sind jedoch in Bezug auf die Bandbreite der Szenen, die sie verarbeiten können, begrenzt und behandeln in der Regel glänzende Szenen falsch. Wir schlagen RRM vor, eine Methode, die die Materialien, Geometrie und Umgebungsbeleuchtung einer Szene auch in Gegenwart stark reflektierender Objekte extrahieren kann. Unsere Methode besteht aus einer physikalisch bewussten Strahlungsfeld-Darstellung, die physikalisch basierte Parameter informiert, und einer ausdrucksstarken Umgebungslichtstruktur, die auf einer Laplace-Pyramide basiert. Wir zeigen, dass unsere Beiträge die aktuellsten auf Parameterabrufaufgaben übertreffen und zu hochwertiger Neubeleuchtung und neuartiger Ansichtssynthese auf oberflächlichen Szenen führen.

English

Synthesizing NeRFs under arbitrary lighting has become a seminal problem in the last few years. Recent efforts tackle the problem via the extraction of physically-based parameters that can then be rendered under arbitrary lighting, but they are limited in the range of scenes they can handle, usually mishandling glossy scenes. We propose RRM, a method that can extract the materials, geometry, and environment lighting of a scene even in the presence of highly reflective objects. Our method consists of a physically-aware radiance field representation that informs physically-based parameters, and an expressive environment light structure based on a Laplacian Pyramid. We demonstrate that our contributions outperform the state-of-the-art on parameter retrieval tasks, leading to high-fidelity relighting and novel view synthesis on surfacic scenes.