Лучи Байеса: Количественная оценка неопределенности для нейронных полей излучения

Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields

September 6, 2023

Авторы: Lily Goli, Cody Reading, Silvia Selllán, Alec Jacobson, Andrea Tagliasacchi

cs.AI

Аннотация

Нейронные поля излучения (NeRF) продемонстрировали перспективность в таких задачах, как синтез видов и оценка глубины, однако обучение на основе многовидовых изображений сталкивается с присущими неопределенностями. Современные методы их количественной оценки либо эвристичны, либо требуют значительных вычислительных ресурсов. Мы представляем BayesRays — постфактумный фреймворк для оценки неопределенности в любом предварительно обученном NeRF без изменения процесса обучения. Наш метод создает объемное поле неопределенности с использованием пространственных возмущений и байесовской аппроксимации Лапласа. Мы статистически обосновываем наш алгоритм и демонстрируем его превосходство по ключевым метрикам и в приложениях. Дополнительные результаты доступны по адресу: https://bayesrays.github.io.

English

Neural Radiance Fields (NeRFs) have shown promise in applications like view synthesis and depth estimation, but learning from multiview images faces inherent uncertainties. Current methods to quantify them are either heuristic or computationally demanding. We introduce BayesRays, a post-hoc framework to evaluate uncertainty in any pre-trained NeRF without modifying the training process. Our method establishes a volumetric uncertainty field using spatial perturbations and a Bayesian Laplace approximation. We derive our algorithm statistically and show its superior performance in key metrics and applications. Additional results available at: https://bayesrays.github.io.