Rayons de Bayes : Quantification de l'incertitude pour les champs de radiance neuronaux

Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields

September 6, 2023

Auteurs: Lily Goli, Cody Reading, Silvia Selllán, Alec Jacobson, Andrea Tagliasacchi

cs.AI

Résumé

Les champs de radiance neuronaux (NeRFs) ont montré leur potentiel dans des applications telles que la synthèse de vues et l'estimation de profondeur, mais l'apprentissage à partir d'images multivues est confronté à des incertitudes inhérentes. Les méthodes actuelles pour les quantifier sont soit heuristiques, soit exigeantes en termes de calcul. Nous présentons BayesRays, un cadre post-hoc pour évaluer l'incertitude dans tout NeRF pré-entraîné sans modifier le processus d'apprentissage. Notre méthode établit un champ d'incertitude volumétrique en utilisant des perturbations spatiales et une approximation de Laplace bayésienne. Nous dérivons notre algorithme de manière statistique et démontrons ses performances supérieures sur des métriques clés et dans des applications. Des résultats supplémentaires sont disponibles à l'adresse : https://bayesrays.github.io.

English

Neural Radiance Fields (NeRFs) have shown promise in applications like view synthesis and depth estimation, but learning from multiview images faces inherent uncertainties. Current methods to quantify them are either heuristic or computationally demanding. We introduce BayesRays, a post-hoc framework to evaluate uncertainty in any pre-trained NeRF without modifying the training process. Our method establishes a volumetric uncertainty field using spatial perturbations and a Bayesian Laplace approximation. We derive our algorithm statistically and show its superior performance in key metrics and applications. Additional results available at: https://bayesrays.github.io.