NerfAcc: 効率的なサンプリングによるNeRFの高速化

NerfAcc: Efficient Sampling Accelerates NeRFs

May 8, 2023

著者: Ruilong Li, Hang Gao, Matthew Tancik, Angjoo Kanazawa

cs.AI

要旨

ニューラルラジアンスフィールド（NeRF）の最適化とレンダリングは、ボリュームレンダリングに必要な膨大なサンプル数のため、計算コストが高い。最近の研究では、手法を加速するための代替サンプリング手法が取り入れられているが、それらはしばしば研究の焦点とはならない。本論文では、複数のサンプリング手法を調査・比較し、透過率推定器の統一概念の下で、改善されたサンプリングがNeRFのバリエーション全般に適用可能であることを示す。今後の実験を容易にするため、我々はNerfAccというPythonツールボックスを開発した。これは、高度なサンプリング手法をNeRF関連の手法に組み込むための柔軟なAPIを提供するものである。既存のコードベースに最小限の修正を加えるだけで、いくつかの最近のNeRF手法の学習時間を1.5倍から20倍短縮できることを示し、その柔軟性を実証する。さらに、Instant-NGPのような高度にカスタマイズされたNeRFも、NerfAccを使用してネイティブのPyTorchで実装できる。

English

Optimizing and rendering Neural Radiance Fields is computationally expensive due to the vast number of samples required by volume rendering. Recent works have included alternative sampling approaches to help accelerate their methods, however, they are often not the focus of the work. In this paper, we investigate and compare multiple sampling approaches and demonstrate that improved sampling is generally applicable across NeRF variants under an unified concept of transmittance estimator. To facilitate future experiments, we develop NerfAcc, a Python toolbox that provides flexible APIs for incorporating advanced sampling methods into NeRF related methods. We demonstrate its flexibility by showing that it can reduce the training time of several recent NeRF methods by 1.5x to 20x with minimal modifications to the existing codebase. Additionally, highly customized NeRFs, such as Instant-NGP, can be implemented in native PyTorch using NerfAcc.