IllumiNeRF: 3D Herbelichting zonder Inverse Rendering

IllumiNeRF: 3D Relighting without Inverse Rendering

June 10, 2024

Auteurs: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler

cs.AI

Samenvatting

Bestaande methoden voor herbelichtbare viewsynthese -- het gebruik van een set afbeeldingen van een object onder onbekende belichting om een 3D-representatie te herstellen die vanuit nieuwe gezichtspunten onder een doelbelichting kan worden weergegeven -- zijn gebaseerd op inverse rendering en proberen de objectgeometrie, materialen en belichting te ontwarren die de invoerafbeeldingen verklaren. Bovendien houdt dit typisch optimalisatie in via differentieerbare Monte Carlo-rendering, wat broos en rekenintensief is. In dit werk stellen we een eenvoudigere aanpak voor: we belichten eerst elke invoerafbeelding opnieuw met behulp van een beelddiffusiemodel dat is geconditioneerd op belichting en reconstrueren vervolgens een Neural Radiance Field (NeRF) met deze herbelichte afbeeldingen, waaruit we nieuwe views onder de doelbelichting renderen. We tonen aan dat deze strategie verrassend concurrerend is en state-of-the-art resultaten behaalt op meerdere herbelichtingsbenchmarks. Bezoek onze projectpagina op https://illuminerf.github.io/.

English

Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.