NerfAcc: Efficiënte Sampling Versnelt NeRFs

NerfAcc: Efficient Sampling Accelerates NeRFs

May 8, 2023

Auteurs: Ruilong Li, Hang Gao, Matthew Tancik, Angjoo Kanazawa

cs.AI

Samenvatting

Het optimaliseren en renderen van Neural Radiance Fields is rekenkundig kostbaar vanwege het enorme aantal samples dat nodig is voor volume rendering. Recente werken hebben alternatieve samplingbenaderingen opgenomen om hun methoden te versnellen, maar deze staan vaak niet centraal in het onderzoek. In dit artikel onderzoeken en vergelijken we meerdere samplingbenaderingen en tonen we aan dat verbeterde sampling over het algemeen toepasbaar is bij verschillende NeRF-varianten onder een geünificeerd concept van transmissieschatting. Om toekomstige experimenten te vergemakkelijken, ontwikkelen we NerfAcc, een Python-toolbox die flexibele API's biedt voor het integreren van geavanceerde samplingmethoden in NeRF-gerelateerde methoden. We demonstreren de flexibiliteit ervan door aan te tonen dat het de trainingsduur van verschillende recente NeRF-methoden met 1,5x tot 20x kan verminderen met minimale aanpassingen aan de bestaande codebase. Daarnaast kunnen sterk aangepaste NeRF's, zoals Instant-NGP, worden geïmplementeerd in native PyTorch met behulp van NerfAcc.

English

Optimizing and rendering Neural Radiance Fields is computationally expensive due to the vast number of samples required by volume rendering. Recent works have included alternative sampling approaches to help accelerate their methods, however, they are often not the focus of the work. In this paper, we investigate and compare multiple sampling approaches and demonstrate that improved sampling is generally applicable across NeRF variants under an unified concept of transmittance estimator. To facilitate future experiments, we develop NerfAcc, a Python toolbox that provides flexible APIs for incorporating advanced sampling methods into NeRF related methods. We demonstrate its flexibility by showing that it can reduce the training time of several recent NeRF methods by 1.5x to 20x with minimal modifications to the existing codebase. Additionally, highly customized NeRFs, such as Instant-NGP, can be implemented in native PyTorch using NerfAcc.