RRM: Восстанавливаемые ресурсы с использованием извлечения материала под руководством радиации

RRM: Relightable assets using Radiance guided Material extraction

July 8, 2024

Авторы: Diego Gomez, Julien Philip, Adrien Kaiser, Élie Michel

cs.AI

Аннотация

Синтезирование неоднородных радиоэлектронных форм (NeRFs) при произвольном освещении стало ключевой проблемой в последние годы. Недавние усилия направлены на решение этой проблемы путем извлечения параметров, основанных на физике, которые затем могут быть отображены при произвольном освещении, однако они ограничены в диапазоне сцен, которые они могут обрабатывать, обычно неправильно обрабатывая отражающие сцены. Мы предлагаем метод RRM, способный извлекать материалы, геометрию и окружающее освещение сцены даже в присутствии сильно отражающих объектов. Наш метод состоит из представления радиоэлектронного поля, учитывающего физические особенности, которое информирует параметры, основанные на физике, и экспрессивной структуры окружающего освещения на основе лапласианской пирамиды. Мы демонстрируем, что наши результаты превосходят современные достижения в задачах извлечения параметров, что приводит к высококачественной переосвещенности и синтезу нового вида на поверхностных сценах.

English

Synthesizing NeRFs under arbitrary lighting has become a seminal problem in the last few years. Recent efforts tackle the problem via the extraction of physically-based parameters that can then be rendered under arbitrary lighting, but they are limited in the range of scenes they can handle, usually mishandling glossy scenes. We propose RRM, a method that can extract the materials, geometry, and environment lighting of a scene even in the presence of highly reflective objects. Our method consists of a physically-aware radiance field representation that informs physically-based parameters, and an expressive environment light structure based on a Laplacian Pyramid. We demonstrate that our contributions outperform the state-of-the-art on parameter retrieval tasks, leading to high-fidelity relighting and novel view synthesis on surfacic scenes.