NerfAcc: 효율적인 샘플링으로 NeRFs 가속화

NerfAcc: Efficient Sampling Accelerates NeRFs

May 8, 2023

저자: Ruilong Li, Hang Gao, Matthew Tancik, Angjoo Kanazawa

cs.AI

초록

Neural Radiance Fields(NeRF)의 최적화 및 렌더링은 볼륨 렌더링에 필요한 방대한 샘플 수로 인해 계산 비용이 많이 듭니다. 최근 연구에서는 이러한 방법을 가속화하기 위해 대체 샘플링 접근법을 포함시켰지만, 이는 종종 연구의 주요 초점이 되지 않았습니다. 본 논문에서는 여러 샘플링 접근법을 조사하고 비교하며, 개선된 샘플링이 전달율 추정기라는 통합된 개념 하에서 다양한 NeRF 변형에 일반적으로 적용 가능함을 입증합니다. 향후 실험을 용이하게 하기 위해, 우리는 고급 샘플링 방법을 NeRF 관련 방법에 통합할 수 있는 유연한 API를 제공하는 Python 도구인 NerfAcc를 개발했습니다. 우리는 기존 코드베이스에 최소한의 수정만으로도 최근의 여러 NeRF 방법의 학습 시간을 1.5배에서 20배까지 단축할 수 있음을 보여줌으로써 그 유연성을 입증합니다. 또한, Instant-NGP와 같은 고도로 맞춤화된 NeRF도 NerfAcc를 사용하여 네이티브 PyTorch로 구현할 수 있습니다.

English

Optimizing and rendering Neural Radiance Fields is computationally expensive due to the vast number of samples required by volume rendering. Recent works have included alternative sampling approaches to help accelerate their methods, however, they are often not the focus of the work. In this paper, we investigate and compare multiple sampling approaches and demonstrate that improved sampling is generally applicable across NeRF variants under an unified concept of transmittance estimator. To facilitate future experiments, we develop NerfAcc, a Python toolbox that provides flexible APIs for incorporating advanced sampling methods into NeRF related methods. We demonstrate its flexibility by showing that it can reduce the training time of several recent NeRF methods by 1.5x to 20x with minimal modifications to the existing codebase. Additionally, highly customized NeRFs, such as Instant-NGP, can be implemented in native PyTorch using NerfAcc.