IllumiNeRF : Relighting 3D sans rendu inverse

IllumiNeRF: 3D Relighting without Inverse Rendering

June 10, 2024

Auteurs: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler

cs.AI

Résumé

Les méthodes existantes pour la synthèse de vues relightables -- utilisant un ensemble d'images d'un objet sous un éclairage inconnu pour reconstruire une représentation 3D pouvant être rendue sous de nouveaux points de vue avec un éclairage cible -- reposent sur le rendu inverse et tentent de séparer la géométrie de l'objet, les matériaux et l'éclairage qui expliquent les images d'entrée. De plus, cela implique généralement une optimisation via un rendu Monte Carlo différentiable, qui est fragile et coûteux en calcul. Dans ce travail, nous proposons une approche plus simple : nous commençons par relighter chaque image d'entrée à l'aide d'un modèle de diffusion d'images conditionné sur l'éclairage, puis nous reconstruisons un Neural Radiance Field (NeRF) avec ces images relightées, à partir duquel nous rendons de nouvelles vues sous l'éclairage cible. Nous démontrons que cette stratégie est étonnamment compétitive et obtient des résultats de pointe sur plusieurs benchmarks de relighting. Consultez notre page de projet à l'adresse https://illuminerf.github.io/.

English

Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.