NerfAcc: Muestreo Eficiente Acelera las NeRFs

NerfAcc: Efficient Sampling Accelerates NeRFs

May 8, 2023

Autores: Ruilong Li, Hang Gao, Matthew Tancik, Angjoo Kanazawa

cs.AI

Resumen

La optimización y renderizado de Campos de Radiancia Neural (NeRF) es computacionalmente costoso debido al gran número de muestras requeridas por la renderización volumétrica. Trabajos recientes han incluido enfoques de muestreo alternativos para acelerar sus métodos; sin embargo, estos no suelen ser el foco principal del estudio. En este artículo, investigamos y comparamos múltiples enfoques de muestreo y demostramos que un muestreo mejorado es generalmente aplicable en variantes de NeRF bajo un concepto unificado de estimador de transmitancia. Para facilitar experimentos futuros, desarrollamos NerfAcc, una caja de herramientas en Python que proporciona APIs flexibles para incorporar métodos avanzados de muestreo en técnicas relacionadas con NeRF. Demostramos su flexibilidad al mostrar que puede reducir el tiempo de entrenamiento de varios métodos recientes de NeRF entre 1.5x y 20x con modificaciones mínimas en el código existente. Además, NeRFs altamente personalizados, como Instant-NGP, pueden implementarse en PyTorch nativo utilizando NerfAcc.

English

Optimizing and rendering Neural Radiance Fields is computationally expensive due to the vast number of samples required by volume rendering. Recent works have included alternative sampling approaches to help accelerate their methods, however, they are often not the focus of the work. In this paper, we investigate and compare multiple sampling approaches and demonstrate that improved sampling is generally applicable across NeRF variants under an unified concept of transmittance estimator. To facilitate future experiments, we develop NerfAcc, a Python toolbox that provides flexible APIs for incorporating advanced sampling methods into NeRF related methods. We demonstrate its flexibility by showing that it can reduce the training time of several recent NeRF methods by 1.5x to 20x with minimal modifications to the existing codebase. Additionally, highly customized NeRFs, such as Instant-NGP, can be implemented in native PyTorch using NerfAcc.