IllumiNeRF: Reluminação 3D sem Renderização Inversa

IllumiNeRF: 3D Relighting without Inverse Rendering

June 10, 2024

Autores: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler

cs.AI

Resumo

Os métodos existentes para síntese de visões reluzíveis -- que utilizam um conjunto de imagens de um objeto sob iluminação desconhecida para recuperar uma representação 3D que pode ser renderizada a partir de novos pontos de vista sob uma iluminação alvo -- são baseados em renderização inversa e tentam desvendar a geometria do objeto, os materiais e a iluminação que explicam as imagens de entrada. Além disso, isso geralmente envolve otimização por meio de renderização Monte Carlo diferenciável, que é frágil e computacionalmente cara. Neste trabalho, propomos uma abordagem mais simples: primeiro reluzimos cada imagem de entrada usando um modelo de difusão de imagem condicionado à iluminação e, em seguida, reconstruímos um Neural Radiance Field (NeRF) com essas imagens reluzidas, a partir do qual renderizamos novas visões sob a iluminação alvo. Demonstramos que essa estratégia é surpreendentemente competitiva e alcança resultados de ponta em vários benchmarks de reluzimento. Consulte nossa página do projeto em https://illuminerf.github.io/.

English

Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.