NerfAcc: Эффективное сэмплирование ускоряет NeRFs

NerfAcc: Efficient Sampling Accelerates NeRFs

May 8, 2023

Авторы: Ruilong Li, Hang Gao, Matthew Tancik, Angjoo Kanazawa

cs.AI

Аннотация

Оптимизация и визуализация полей нейронного излучения (NeRF) требует значительных вычислительных ресурсов из-за огромного количества выборок, необходимых для объемного рендеринга. В последних работах были предложены альтернативные подходы к выборке для ускорения методов, однако они часто не являются основным фокусом исследования. В данной статье мы исследуем и сравниваем несколько подходов к выборке и демонстрируем, что улучшенная выборка применима к различным вариантам NeRF в рамках единой концепции оценки пропускания. Для облегчения будущих экспериментов мы разработали NerfAcc — инструментарий на Python, который предоставляет гибкие API для интеграции современных методов выборки в методы, связанные с NeRF. Мы демонстрируем его гибкость, показывая, что он может сократить время обучения нескольких современных методов NeRF в 1,5–20 раз при минимальных изменениях существующего кода. Кроме того, высоко настраиваемые NeRF, такие как Instant-NGP, могут быть реализованы на чистом PyTorch с использованием NerfAcc.

English

Optimizing and rendering Neural Radiance Fields is computationally expensive due to the vast number of samples required by volume rendering. Recent works have included alternative sampling approaches to help accelerate their methods, however, they are often not the focus of the work. In this paper, we investigate and compare multiple sampling approaches and demonstrate that improved sampling is generally applicable across NeRF variants under an unified concept of transmittance estimator. To facilitate future experiments, we develop NerfAcc, a Python toolbox that provides flexible APIs for incorporating advanced sampling methods into NeRF related methods. We demonstrate its flexibility by showing that it can reduce the training time of several recent NeRF methods by 1.5x to 20x with minimal modifications to the existing codebase. Additionally, highly customized NeRFs, such as Instant-NGP, can be implemented in native PyTorch using NerfAcc.