Bayes' Rays: Unsicherheitsquantifizierung für Neural Radiance Fields

Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields

September 6, 2023

Autoren: Lily Goli, Cody Reading, Silvia Selllán, Alec Jacobson, Andrea Tagliasacchi

cs.AI

Zusammenfassung

Neural Radiance Fields (NeRFs) haben sich in Anwendungen wie View-Synthese und Tiefenschätzung als vielversprechend erwiesen, doch das Lernen aus Multiview-Bildern ist mit inhärenten Unsicherheiten verbunden. Aktuelle Methoden zu deren Quantifizierung sind entweder heuristisch oder rechenintensiv. Wir stellen BayesRays vor, ein nachträgliches Framework zur Bewertung von Unsicherheiten in jedem vortrainierten NeRF, ohne den Trainingsprozess zu modifizieren. Unsere Methode etabliert ein volumetrisches Unsicherheitsfeld durch räumliche Störungen und eine bayessche Laplace-Approximation. Wir leiten unseren Algorithmus statistisch her und zeigen seine überlegene Leistung in zentralen Metriken und Anwendungen. Weitere Ergebnisse sind verfügbar unter: https://bayesrays.github.io.

English

Neural Radiance Fields (NeRFs) have shown promise in applications like view synthesis and depth estimation, but learning from multiview images faces inherent uncertainties. Current methods to quantify them are either heuristic or computationally demanding. We introduce BayesRays, a post-hoc framework to evaluate uncertainty in any pre-trained NeRF without modifying the training process. Our method establishes a volumetric uncertainty field using spatial perturbations and a Bayesian Laplace approximation. We derive our algorithm statistically and show its superior performance in key metrics and applications. Additional results available at: https://bayesrays.github.io.