IllumiNeRF: трехмерное переосвещение без обратного восстановления.

IllumiNeRF: 3D Relighting without Inverse Rendering

June 10, 2024

Авторы: Xiaoming Zhao, Pratul P. Srinivasan, Dor Verbin, Keunhong Park, Ricardo Martin Brualla, Philipp Henzler

cs.AI

Аннотация

Существующие методы синтеза обзора с возможностью изменения освещения - используют набор изображений объекта под неизвестным освещением для восстановления трехмерного представления, которое может быть визуализировано с новых точек зрения под целевым освещением - основаны на обратной рендеринге и пытаются разделить геометрию объекта, материалы и освещение, объясняющие входные изображения. Более того, это обычно включает оптимизацию через дифференцируемый рендеринг методом Монте-Карло, который является хрупким и вычислительно затратным. В данной работе мы предлагаем более простой подход: сначала изменяем освещение каждого входного изображения с использованием модели диффузии изображения, условионной освещением, а затем восстанавливаем Нейронное Поле Яркости (NeRF) с этими измененными изображениями, из которого визуализируем новые виды под целевым освещением. Мы продемонстрировали, что эта стратегия удивительно конкурентоспособна и достигает лучших результатов на нескольких бенчмарках по изменению освещения. Пожалуйста, посетите нашу страницу проекта по адресу https://illuminerf.github.io/.

English

Existing methods for relightable view synthesis -- using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination -- are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.