IllumiNeRF: Reluminación 3D sin renderizado inverso

IllumiNeRF: 3D Relighting without Inverse Rendering

June 10, 2024

Autores: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler

cs.AI

Resumen

Los métodos existentes para la síntesis de vistas reluminadas -- que utilizan un conjunto de imágenes de un objeto bajo iluminación desconocida para recuperar una representación 3D que puede ser renderizada desde nuevos puntos de vista bajo una iluminación objetivo -- se basan en la renderización inversa e intentan desentrañar la geometría del objeto, los materiales y la iluminación que explican las imágenes de entrada. Además, esto generalmente implica una optimización a través de la renderización Monte Carlo diferenciable, que es frágil y computacionalmente costosa. En este trabajo, proponemos un enfoque más simple: primero reluminamos cada imagen de entrada utilizando un modelo de difusión de imágenes condicionado por la iluminación y luego reconstruimos un Campo de Radiancia Neural (NeRF) con estas imágenes reluminadas, desde el cual renderizamos nuevas vistas bajo la iluminación objetivo. Demostramos que esta estrategia es sorprendentemente competitiva y logra resultados de vanguardia en múltiples benchmarks de reluminación. Por favor, visite nuestra página del proyecto en https://illuminerf.github.io/.

English

Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.