RRM: 방사광(Radiance) 기반 재질 추출을 활용한 재조명 가능 에셋

RRM: Relightable assets using Radiance guided Material extraction

July 8, 2024

저자: Diego Gomez, Julien Philip, Adrien Kaiser, Élie Michel

cs.AI

초록

임의의 조명 조건에서 NeRF(Neural Radiance Fields)를 합성하는 것은 최근 몇 년 동안 중요한 문제로 부각되었습니다. 최근 연구들은 물리 기반 파라미터를 추출하여 이를 임의의 조명 하에서 렌더링하는 방식으로 이 문제를 해결하려고 시도했지만, 처리할 수 있는 장면의 범위가 제한적이며 특히 반사가 강한 장면을 제대로 다루지 못하는 한계가 있었습니다. 우리는 RRM이라는 방법을 제안합니다. 이 방법은 고반사성 물체가 존재하는 장면에서도 재질, 기하학적 구조, 환경 조명을 추출할 수 있습니다. 우리의 방법은 물리 기반 파라미터를 제공하는 물리적 인식을 갖춘 radiance field 표현과 라플라시안 피라미드(Laplacian Pyramid) 기반의 표현력 있는 환경 조명 구조로 구성됩니다. 우리는 제안한 방법이 파라미터 추출 작업에서 최신 기술을 능가하며, 표면 장면에서 고품질의 재조명 및 새로운 시점 합성을 가능하게 한다는 것을 입증합니다.

English

Synthesizing NeRFs under arbitrary lighting has become a seminal problem in the last few years. Recent efforts tackle the problem via the extraction of physically-based parameters that can then be rendered under arbitrary lighting, but they are limited in the range of scenes they can handle, usually mishandling glossy scenes. We propose RRM, a method that can extract the materials, geometry, and environment lighting of a scene even in the presence of highly reflective objects. Our method consists of a physically-aware radiance field representation that informs physically-based parameters, and an expressive environment light structure based on a Laplacian Pyramid. We demonstrate that our contributions outperform the state-of-the-art on parameter retrieval tasks, leading to high-fidelity relighting and novel view synthesis on surfacic scenes.