Raggi di Bayes: Quantificazione dell'Incertezza per Campi di Radianza Neurale

Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields

September 6, 2023

Autori: Lily Goli, Cody Reading, Silvia Selllán, Alec Jacobson, Andrea Tagliasacchi

cs.AI

Abstract

I Neural Radiance Fields (NeRFs) hanno dimostrato potenziale in applicazioni come la sintesi di viste e la stima della profondità, ma l'apprendimento da immagini multivista affronta incertezze intrinseche. I metodi attuali per quantificarle sono o euristici o computazionalmente onerosi. Introduciamo BayesRays, un framework post-hoc per valutare l'incertezza in qualsiasi NeRF pre-addestrato senza modificare il processo di training. Il nostro metodo stabilisce un campo di incertezza volumetrico utilizzando perturbazioni spaziali e un'approssimazione bayesiana di Laplace. Deriviamo il nostro algoritmo statisticamente e ne dimostriamo le prestazioni superiori in metriche chiave e applicazioni. Ulteriori risultati sono disponibili all'indirizzo: https://bayesrays.github.io.

English

Neural Radiance Fields (NeRFs) have shown promise in applications like view synthesis and depth estimation, but learning from multiview images faces inherent uncertainties. Current methods to quantify them are either heuristic or computationally demanding. We introduce BayesRays, a post-hoc framework to evaluate uncertainty in any pre-trained NeRF without modifying the training process. Our method establishes a volumetric uncertainty field using spatial perturbations and a Bayesian Laplace approximation. We derive our algorithm statistically and show its superior performance in key metrics and applications. Additional results available at: https://bayesrays.github.io.