IllumiNeRF: Illuminazione 3D senza Rendering Inverso

IllumiNeRF: 3D Relighting without Inverse Rendering

June 10, 2024

Autori: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler

cs.AI

Abstract

I metodi esistenti per la sintesi di viste riluminabili -- che utilizzano un insieme di immagini di un oggetto sotto illuminazione sconosciuta per ricostruire una rappresentazione 3D che può essere renderizzata da nuove prospettive sotto un'illuminazione target -- si basano sul rendering inverso e tentano di separare la geometria dell'oggetto, i materiali e l'illuminazione che spiegano le immagini di input. Inoltre, ciò comporta tipicamente un'ottimizzazione attraverso il rendering Monte Carlo differenziabile, che è fragile e computazionalmente costoso. In questo lavoro, proponiamo un approccio più semplice: prima riluminiamo ciascuna immagine di input utilizzando un modello di diffusione di immagini condizionato sull'illuminazione e poi ricostruiamo un Neural Radiance Field (NeRF) con queste immagini riluminate, da cui renderizziamo nuove viste sotto l'illuminazione target. Dimostriamo che questa strategia è sorprendentemente competitiva e raggiunge risultati all'avanguardia su molteplici benchmark di riluminazione. Si prega di visitare la nostra pagina del progetto all'indirizzo https://illuminerf.github.io/.

English

Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.