ExtraNeRF : Extrapolation de vues avec prise en compte de la visibilité pour les champs de radiance neuronaux à l'aide de modèles de diffusion

ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models

June 10, 2024

Auteurs: Meng-Li Shih, Wei-Chiu Ma, Aleksander Holynski, Forrester Cole, Brian L. Curless, Janne Kontkanen

cs.AI

Résumé

Nous proposons ExtraNeRF, une nouvelle méthode pour extrapoler la gamme de vues traitées par un Neural Radiance Field (NeRF). Notre idée principale est d'exploiter les NeRFs pour modéliser les détails fins spécifiques à la scène, tout en tirant parti des modèles de diffusion pour extrapoler au-delà de nos données observées. Un élément clé consiste à suivre la visibilité pour déterminer quelles parties de la scène n'ont pas été observées, et à se concentrer sur la reconstruction cohérente de ces régions à l'aide de modèles de diffusion. Nos contributions principales incluent un module de réparation d'image basé sur la diffusion et conscient de la visibilité, qui est affiné sur les images d'entrée, produisant un NeRF initial avec des régions réparées de qualité modérée (souvent floues), suivi d'un second modèle de diffusion entraîné sur les images d'entrée pour améliorer de manière cohérente, notamment en affinant, les images réparées de la première passe. Nous démontrons des résultats de haute qualité, extrapolant au-delà d'un petit nombre de vues d'entrée (typiquement six ou moins), étendant efficacement le NeRF ainsi que réparant les régions nouvellement désoccluses à l'intérieur du volume de vue original. Nous comparons avec les travaux connexes à la fois quantitativement et qualitativement et montrons des gains significatifs par rapport à l'état de l'art.

English

We propose ExtraNeRF, a novel method for extrapolating the range of views handled by a Neural Radiance Field (NeRF). Our main idea is to leverage NeRFs to model scene-specific, fine-grained details, while capitalizing on diffusion models to extrapolate beyond our observed data. A key ingredient is to track visibility to determine what portions of the scene have not been observed, and focus on reconstructing those regions consistently with diffusion models. Our primary contributions include a visibility-aware diffusion-based inpainting module that is fine-tuned on the input imagery, yielding an initial NeRF with moderate quality (often blurry) inpainted regions, followed by a second diffusion model trained on the input imagery to consistently enhance, notably sharpen, the inpainted imagery from the first pass. We demonstrate high-quality results, extrapolating beyond a small number of (typically six or fewer) input views, effectively outpainting the NeRF as well as inpainting newly disoccluded regions inside the original viewing volume. We compare with related work both quantitatively and qualitatively and show significant gains over prior art.