NerfAcc: Campionamento Efficiente Accelera le NeRF

NerfAcc: Efficient Sampling Accelerates NeRFs

May 8, 2023

Autori: Ruilong Li, Hang Gao, Matthew Tancik, Angjoo Kanazawa

cs.AI

Abstract

L'ottimizzazione e il rendering dei Neural Radiance Fields sono computazionalmente costosi a causa del vasto numero di campioni richiesti dal rendering volumetrico. Recenti lavori hanno incluso approcci alternativi di campionamento per accelerare i loro metodi, tuttavia, questi spesso non sono il focus principale del lavoro. In questo articolo, investigiamo e confrontiamo molteplici approcci di campionamento e dimostriamo che un campionamento migliorato è generalmente applicabile alle varianti di NeRF sotto un concetto unificato di stimatore di trasmittanza. Per facilitare futuri esperimenti, sviluppiamo NerfAcc, una toolbox Python che fornisce API flessibili per incorporare metodi di campionamento avanzati nei metodi correlati a NeRF. Dimostriamo la sua flessibilità mostrando che può ridurre il tempo di addestramento di diversi recenti metodi NeRF da 1.5x a 20x con modifiche minime al codice esistente. Inoltre, NeRF altamente personalizzati, come Instant-NGP, possono essere implementati in PyTorch nativo utilizzando NerfAcc.

English

Optimizing and rendering Neural Radiance Fields is computationally expensive due to the vast number of samples required by volume rendering. Recent works have included alternative sampling approaches to help accelerate their methods, however, they are often not the focus of the work. In this paper, we investigate and compare multiple sampling approaches and demonstrate that improved sampling is generally applicable across NeRF variants under an unified concept of transmittance estimator. To facilitate future experiments, we develop NerfAcc, a Python toolbox that provides flexible APIs for incorporating advanced sampling methods into NeRF related methods. We demonstrate its flexibility by showing that it can reduce the training time of several recent NeRF methods by 1.5x to 20x with minimal modifications to the existing codebase. Additionally, highly customized NeRFs, such as Instant-NGP, can be implemented in native PyTorch using NerfAcc.