ExtraNeRF: Zichtbaarheidsbewuste View Extrapolatie van Neural Radiance Fields met Diffusiemodellen
ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models
June 10, 2024
Auteurs: Meng-Li Shih, Wei-Chiu Ma, Aleksander Holynski, Forrester Cole, Brian L. Curless, Janne Kontkanen
cs.AI
Samenvatting
Wij stellen ExtraNeRF voor, een nieuwe methode voor het extrapoleren van het bereik van gezichtspunten dat wordt behandeld door een Neural Radiance Field (NeRF). Onze hoofdgedachte is om NeRFs te benutten om scenespecifieke, fijnmazige details te modelleren, terwijl we gebruikmaken van diffusiemodellen om verder te gaan dan onze waargenomen data. Een belangrijk ingrediënt is het bijhouden van zichtbaarheid om te bepalen welke delen van de scene niet zijn waargenomen, en ons te richten op het consistent reconstrueren van die regio's met diffusiemodellen. Onze primaire bijdragen omvatten een zichtbaarheidsbewust diffusiegebaseerd inpainting-module dat is afgestemd op de invoerbeelden, wat resulteert in een initiële NeRF met matige kwaliteit (vaak wazige) ingevulde regio's, gevolgd door een tweede diffusiemodel getraind op de invoerbeelden om de ingevulde beelden van de eerste ronde consistent te verbeteren, met name te verscherpen. We demonstreren hoogwaardige resultaten, waarbij we verder gaan dan een klein aantal (meestal zes of minder) invoergezichtspunten, effectief outpainten van de NeRF evenals inpainten van nieuw ontdekte regio's binnen het oorspronkelijke kijkvolume. We vergelijken met gerelateerd werk zowel kwantitatief als kwalitatief en laten aanzienlijke verbeteringen zien ten opzichte van de stand van de techniek.
English
We propose ExtraNeRF, a novel method for extrapolating the range of views
handled by a Neural Radiance Field (NeRF). Our main idea is to leverage NeRFs
to model scene-specific, fine-grained details, while capitalizing on diffusion
models to extrapolate beyond our observed data. A key ingredient is to track
visibility to determine what portions of the scene have not been observed, and
focus on reconstructing those regions consistently with diffusion models. Our
primary contributions include a visibility-aware diffusion-based inpainting
module that is fine-tuned on the input imagery, yielding an initial NeRF with
moderate quality (often blurry) inpainted regions, followed by a second
diffusion model trained on the input imagery to consistently enhance, notably
sharpen, the inpainted imagery from the first pass. We demonstrate high-quality
results, extrapolating beyond a small number of (typically six or fewer) input
views, effectively outpainting the NeRF as well as inpainting newly disoccluded
regions inside the original viewing volume. We compare with related work both
quantitatively and qualitatively and show significant gains over prior art.