NerfAcc : Un échantillonnage efficace accélère les NeRFs

NerfAcc: Efficient Sampling Accelerates NeRFs

May 8, 2023

Auteurs: Ruilong Li, Hang Gao, Matthew Tancik, Angjoo Kanazawa

cs.AI

Résumé

L'optimisation et le rendu des champs de radiance neuronaux (NeRF) sont coûteux en calculs en raison du grand nombre d'échantillons requis par le rendu volumétrique. Des travaux récents ont intégré des approches d'échantillonnage alternatives pour accélérer leurs méthodes, mais celles-ci ne sont souvent pas au cœur de l'étude. Dans cet article, nous explorons et comparons plusieurs approches d'échantillonnage et démontrons qu'une amélioration de l'échantillonnage est généralement applicable à diverses variantes de NeRF sous un concept unifié d'estimateur de transmittance. Pour faciliter les expérimentations futures, nous développons NerfAcc, une boîte à outils Python offrant des API flexibles pour intégrer des méthodes d'échantillonnage avancées dans les méthodes liées aux NeRF. Nous démontrons sa flexibilité en montrant qu'elle peut réduire le temps d'entraînement de plusieurs méthodes NeRF récentes de 1,5x à 20x avec des modifications minimales du code existant. De plus, des NeRFs hautement personnalisés, comme Instant-NGP, peuvent être implémentés en PyTorch natif grâce à NerfAcc.

English

Optimizing and rendering Neural Radiance Fields is computationally expensive due to the vast number of samples required by volume rendering. Recent works have included alternative sampling approaches to help accelerate their methods, however, they are often not the focus of the work. In this paper, we investigate and compare multiple sampling approaches and demonstrate that improved sampling is generally applicable across NeRF variants under an unified concept of transmittance estimator. To facilitate future experiments, we develop NerfAcc, a Python toolbox that provides flexible APIs for incorporating advanced sampling methods into NeRF related methods. We demonstrate its flexibility by showing that it can reduce the training time of several recent NeRF methods by 1.5x to 20x with minimal modifications to the existing codebase. Additionally, highly customized NeRFs, such as Instant-NGP, can be implemented in native PyTorch using NerfAcc.