Raios de Bayes: Quantificação de Incerteza para Campos de Radiação Neural

Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields

September 6, 2023

Autores: Lily Goli, Cody Reading, Silvia Selllán, Alec Jacobson, Andrea Tagliasacchi

cs.AI

Resumo

Campos de Radiação Neural (NeRFs) têm demonstrado potencial em aplicações como síntese de visão e estimativa de profundidade, mas o aprendizado a partir de imagens multiview enfrenta incertezas inerentes. Os métodos atuais para quantificá-las são heurísticos ou computacionalmente exigentes. Apresentamos o BayesRays, uma estrutura pós-treinamento para avaliar a incerteza em qualquer NeRF pré-treinado sem modificar o processo de treinamento. Nosso método estabelece um campo de incerteza volumétrica utilizando perturbações espaciais e uma aproximação de Laplace Bayesiana. Derivamos nosso algoritmo estatisticamente e demonstramos seu desempenho superior em métricas-chave e aplicações. Resultados adicionais estão disponíveis em: https://bayesrays.github.io.

English

Neural Radiance Fields (NeRFs) have shown promise in applications like view synthesis and depth estimation, but learning from multiview images faces inherent uncertainties. Current methods to quantify them are either heuristic or computationally demanding. We introduce BayesRays, a post-hoc framework to evaluate uncertainty in any pre-trained NeRF without modifying the training process. Our method establishes a volumetric uncertainty field using spatial perturbations and a Bayesian Laplace approximation. We derive our algorithm statistically and show its superior performance in key metrics and applications. Additional results available at: https://bayesrays.github.io.