NerfAcc: Amostragem Eficiente Acelera NeRFs

NerfAcc: Efficient Sampling Accelerates NeRFs

May 8, 2023

Autores: Ruilong Li, Hang Gao, Matthew Tancik, Angjoo Kanazawa

cs.AI

Resumo

A otimização e renderização de Campos de Radiação Neural (NeRF) são computacionalmente caras devido ao grande número de amostras necessárias para a renderização volumétrica. Trabalhos recentes incluíram abordagens alternativas de amostragem para acelerar seus métodos, porém, elas frequentemente não são o foco principal do estudo. Neste artigo, investigamos e comparamos múltiplas abordagens de amostragem e demonstramos que a melhoria na amostragem é geralmente aplicável em variantes de NeRF sob um conceito unificado de estimador de transmitância. Para facilitar experimentos futuros, desenvolvemos o NerfAcc, uma caixa de ferramentas em Python que fornece APIs flexíveis para incorporar métodos avançados de amostragem em métodos relacionados a NeRF. Demonstramos sua flexibilidade ao mostrar que ele pode reduzir o tempo de treinamento de vários métodos recentes de NeRF em 1,5x a 20x com modificações mínimas na base de código existente. Além disso, NeRFs altamente personalizados, como o Instant-NGP, podem ser implementados em PyTorch nativo usando o NerfAcc.

English

Optimizing and rendering Neural Radiance Fields is computationally expensive due to the vast number of samples required by volume rendering. Recent works have included alternative sampling approaches to help accelerate their methods, however, they are often not the focus of the work. In this paper, we investigate and compare multiple sampling approaches and demonstrate that improved sampling is generally applicable across NeRF variants under an unified concept of transmittance estimator. To facilitate future experiments, we develop NerfAcc, a Python toolbox that provides flexible APIs for incorporating advanced sampling methods into NeRF related methods. We demonstrate its flexibility by showing that it can reduce the training time of several recent NeRF methods by 1.5x to 20x with minimal modifications to the existing codebase. Additionally, highly customized NeRFs, such as Instant-NGP, can be implemented in native PyTorch using NerfAcc.