Rayos de Bayes: Cuantificación de Incertidumbre para Campos de Radiancia Neural

Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields

September 6, 2023

Autores: Lily Goli, Cody Reading, Silvia Selllán, Alec Jacobson, Andrea Tagliasacchi

cs.AI

Resumen

Los Campos de Radiancia Neural (NeRFs, por sus siglas en inglés) han demostrado potencial en aplicaciones como la síntesis de vistas y la estimación de profundidad, pero el aprendizaje a partir de imágenes multivista enfrenta incertidumbres inherentes. Los métodos actuales para cuantificarlas son heurísticos o computacionalmente costosos. Presentamos BayesRays, un marco post-hoc para evaluar la incertidumbre en cualquier NeRF preentrenado sin modificar el proceso de entrenamiento. Nuestro método establece un campo volumétrico de incertidumbre utilizando perturbaciones espaciales y una aproximación bayesiana de Laplace. Derivamos nuestro algoritmo estadísticamente y demostramos su rendimiento superior en métricas clave y aplicaciones. Resultados adicionales disponibles en: https://bayesrays.github.io.

English

Neural Radiance Fields (NeRFs) have shown promise in applications like view synthesis and depth estimation, but learning from multiview images faces inherent uncertainties. Current methods to quantify them are either heuristic or computationally demanding. We introduce BayesRays, a post-hoc framework to evaluate uncertainty in any pre-trained NeRF without modifying the training process. Our method establishes a volumetric uncertainty field using spatial perturbations and a Bayesian Laplace approximation. We derive our algorithm statistically and show its superior performance in key metrics and applications. Additional results available at: https://bayesrays.github.io.