IllumiNeRF: 逆レンダリングを必要としない3Dリライティング

IllumiNeRF: 3D Relighting without Inverse Rendering

June 10, 2024

著者: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler

cs.AI

要旨

既存の再照明可能な視点合成手法は、未知の照明下で撮影された物体の画像セットを用いて、新しい視点から目標照明下でレンダリング可能な3D表現を復元するものであり、逆レンダリングに基づいています。これらの手法は、入力画像を説明する物体の形状、材質、照明を分離しようと試みます。さらに、これには通常、微分可能なモンテカルロレンダリングを通じた最適化が含まれますが、これは脆弱で計算コストが高いものです。本研究では、よりシンプルなアプローチを提案します。まず、照明を条件とした画像拡散モデルを用いて各入力画像を再照明し、その後、これらの再照明画像からニューラルラジアンスフィールド（NeRF）を再構築します。これにより、目標照明下での新しい視点からのレンダリングが可能になります。この戦略が驚くほど競争力があり、複数の再照明ベンチマークで最先端の結果を達成することを実証します。詳細はプロジェクトページ（https://illuminerf.github.io/）をご覧ください。

English

Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.