IllumiNeRF: 3D-Neubeleuchtung ohne inverses Rendering

IllumiNeRF: 3D Relighting without Inverse Rendering

June 10, 2024

Autoren: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler

cs.AI

Zusammenfassung

Bestehende Methoden zur Synthese von beleuchtungsvariablen Ansichten - unter Verwendung einer Reihe von Bildern eines Objekts unter unbekannter Beleuchtung, um eine 3D-Repräsentation wiederherzustellen, die aus neuen Blickwinkeln unter einer Zielbeleuchtung gerendert werden kann - basieren auf inverser Darstellung und versuchen, die Objektgeometrie, Materialien und Beleuchtung zu entwirren, die die Eingabebilder erklären. Darüber hinaus beinhaltet dies typischerweise Optimierung durch differenzierbares Monte Carlo-Rendering, das spröde und rechenaufwendig ist. In dieser Arbeit schlagen wir einen einfacheren Ansatz vor: Wir beleuchten zunächst jedes Eingabebild mithilfe eines Bildverdünnungsmodells, das auf Beleuchtung konditioniert ist, und rekonstruieren dann ein Neuronales Strahlungsfeld (NeRF) mit diesen beleuchteten Bildern, aus dem wir neue Ansichten unter der Zielbeleuchtung rendern. Wir zeigen, dass diese Strategie überraschend wettbewerbsfähig ist und Spitzenresultate in mehreren Beleuchtungs-Benchmarks erzielt. Bitte besuchen Sie unsere Projektseite unter https://illuminerf.github.io/.

English

Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.