RRM: 放射輝度誘導型マテリアル抽出を用いた再照明可能なアセット

RRM: Relightable assets using Radiance guided Material extraction

July 8, 2024

著者: Diego Gomez, Julien Philip, Adrien Kaiser, Élie Michel

cs.AI

要旨

任意の照明条件下でのNeRF合成は、ここ数年で重要な課題となってきました。最近の研究では、物理ベースのパラメータを抽出し、それを任意の照明下でレンダリングするアプローチが取られていますが、扱えるシーンの範囲に制限があり、特に光沢のあるシーンを適切に処理できないという課題があります。本論文では、RRMという手法を提案します。この手法は、高度に反射性の高い物体が存在するシーンにおいても、その素材、ジオメトリ、環境照明を抽出することが可能です。私たちの手法は、物理ベースのパラメータを提供する物理的に意識された放射輝度フィールド表現と、ラプラシアンピラミッドに基づく表現力豊かな環境光構造から構成されています。私たちの提案が、パラメータ取得タスクにおいて最先端の手法を上回り、表面シーンにおける高忠実度の再照明と新規視点合成を実現することを実証します。

English

Synthesizing NeRFs under arbitrary lighting has become a seminal problem in the last few years. Recent efforts tackle the problem via the extraction of physically-based parameters that can then be rendered under arbitrary lighting, but they are limited in the range of scenes they can handle, usually mishandling glossy scenes. We propose RRM, a method that can extract the materials, geometry, and environment lighting of a scene even in the presence of highly reflective objects. Our method consists of a physically-aware radiance field representation that informs physically-based parameters, and an expressive environment light structure based on a Laplacian Pyramid. We demonstrate that our contributions outperform the state-of-the-art on parameter retrieval tasks, leading to high-fidelity relighting and novel view synthesis on surfacic scenes.