ExtraNeRF: Extrapolación de Vistas con Conciencia de Visibilidad en Campos de Radiancia Neural utilizando Modelos de Difusión

ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models

June 10, 2024

Autores: Meng-Li Shih, Wei-Chiu Ma, Aleksander Holynski, Forrester Cole, Brian L. Curless, Janne Kontkanen

cs.AI

Resumen

Proponemos ExtraNeRF, un método novedoso para extrapolar el rango de vistas manejadas por un Campo de Radiancia Neural (NeRF). Nuestra idea principal es aprovechar los NeRFs para modelar detalles específicos y granulares de la escena, mientras se capitaliza en modelos de difusión para extrapolar más allá de los datos observados. Un componente clave es rastrear la visibilidad para determinar qué porciones de la escena no han sido observadas y enfocarse en reconstruir esas regiones de manera consistente utilizando modelos de difusión. Nuestras contribuciones principales incluyen un módulo de inpaint basado en difusión y consciente de la visibilidad, que se ajusta finamente sobre las imágenes de entrada, produciendo un NeRF inicial con regiones inpaintadas de calidad moderada (a menudo borrosas), seguido de un segundo modelo de difusión entrenado en las imágenes de entrada para mejorar consistentemente, y notablemente afilar, las imágenes inpaintadas de la primera pasada. Demostramos resultados de alta calidad, extrapolando más allá de un pequeño número de vistas de entrada (típicamente seis o menos), efectuando outpaint del NeRF así como inpaint de regiones recién desocluidas dentro del volumen de visión original. Comparamos con trabajos relacionados tanto cuantitativa como cualitativamente y mostramos mejoras significativas sobre el estado del arte previo.

English

We propose ExtraNeRF, a novel method for extrapolating the range of views handled by a Neural Radiance Field (NeRF). Our main idea is to leverage NeRFs to model scene-specific, fine-grained details, while capitalizing on diffusion models to extrapolate beyond our observed data. A key ingredient is to track visibility to determine what portions of the scene have not been observed, and focus on reconstructing those regions consistently with diffusion models. Our primary contributions include a visibility-aware diffusion-based inpainting module that is fine-tuned on the input imagery, yielding an initial NeRF with moderate quality (often blurry) inpainted regions, followed by a second diffusion model trained on the input imagery to consistently enhance, notably sharpen, the inpainted imagery from the first pass. We demonstrate high-quality results, extrapolating beyond a small number of (typically six or fewer) input views, effectively outpainting the NeRF as well as inpainting newly disoccluded regions inside the original viewing volume. We compare with related work both quantitatively and qualitatively and show significant gains over prior art.