ExtraNeRF: Estrapolazione Visibile di Viste nei Campi di Radianza Neuronali con Modelli di Diffusione

ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models

June 10, 2024

Autori: Meng-Li Shih, Wei-Chiu Ma, Aleksander Holynski, Forrester Cole, Brian L. Curless, Janne Kontkanen

cs.AI

Abstract

Proponiamo ExtraNeRF, un metodo innovativo per estrapolare l'intervallo di visualizzazioni gestite da un Neural Radiance Field (NeRF). La nostra idea principale è sfruttare i NeRF per modellare dettagli specifici della scena a livello fine, mentre ci affidiamo ai modelli di diffusione per estrapolare oltre i dati osservati. Un elemento chiave è il tracciamento della visibilità per determinare quali porzioni della scena non sono state osservate, concentrandosi sulla ricostruzione coerente di tali regioni con i modelli di diffusione. I nostri contributi principali includono un modulo di inpainting basato su diffusione e consapevole della visibilità, ottimizzato sulle immagini di input, che produce un NeRF iniziale con regioni inpaintate di qualità moderata (spesso sfocate), seguito da un secondo modello di diffusione addestrato sulle immagini di input per migliorare in modo coerente, in particolare affinando, le immagini inpaintate della prima passata. Dimostriamo risultati di alta qualità, estrapolando oltre un numero ridotto di visualizzazioni di input (tipicamente sei o meno), effettuando efficacemente outpaint del NeRF così come inpaint delle regioni appena disoccluse all'interno del volume di visualizzazione originale. Confrontiamo il nostro lavoro con approcci correlati sia quantitativamente che qualitativamente, mostrando miglioramenti significativi rispetto allo stato dell'arte precedente.

English

We propose ExtraNeRF, a novel method for extrapolating the range of views handled by a Neural Radiance Field (NeRF). Our main idea is to leverage NeRFs to model scene-specific, fine-grained details, while capitalizing on diffusion models to extrapolate beyond our observed data. A key ingredient is to track visibility to determine what portions of the scene have not been observed, and focus on reconstructing those regions consistently with diffusion models. Our primary contributions include a visibility-aware diffusion-based inpainting module that is fine-tuned on the input imagery, yielding an initial NeRF with moderate quality (often blurry) inpainted regions, followed by a second diffusion model trained on the input imagery to consistently enhance, notably sharpen, the inpainted imagery from the first pass. We demonstrate high-quality results, extrapolating beyond a small number of (typically six or fewer) input views, effectively outpainting the NeRF as well as inpainting newly disoccluded regions inside the original viewing volume. We compare with related work both quantitatively and qualitatively and show significant gains over prior art.