IllumiNeRF: 역렌더링 없이 3D 재조명하기

IllumiNeRF: 3D Relighting without Inverse Rendering

June 10, 2024

저자: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler

cs.AI

초록

기존의 재조명 가능한 뷰 합성 방법들은 알려지지 않은 조명 하에서 촬영된 물체의 이미지 집합을 사용하여, 새로운 시점에서 목표 조명 하에서 렌더링할 수 있는 3D 표현을 복원하는 데 역렌더링(inverse rendering)을 기반으로 합니다. 이 방법들은 입력 이미지를 설명하기 위해 물체의 기하학, 재질, 조명을 분리하려고 시도합니다. 또한, 이는 일반적으로 미분 가능한 몬테카로 렌더링을 통한 최적화를 포함하는데, 이는 취약하고 계산 비용이 많이 듭니다. 본 연구에서는 더 간단한 접근 방식을 제안합니다: 먼저 조명에 조건화된 이미지 확산 모델을 사용하여 각 입력 이미지를 재조명한 후, 이 재조명된 이미지들로부터 신경 방사장(Neural Radiance Field, NeRF)을 재구성하고, 이를 통해 목표 조명 하에서 새로운 뷰를 렌더링합니다. 우리는 이 전략이 놀랍도록 경쟁력이 있으며, 여러 재조명 벤치마크에서 최첨단 결과를 달성함을 보여줍니다. 자세한 내용은 프로젝트 페이지(https://illuminerf.github.io/)를 참조하십시오.

English

Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.