NerfAcc: Effizientes Sampling beschleunigt NeRFs

NerfAcc: Efficient Sampling Accelerates NeRFs

May 8, 2023

Autoren: Ruilong Li, Hang Gao, Matthew Tancik, Angjoo Kanazawa

cs.AI

Zusammenfassung

Die Optimierung und Darstellung von Neural Radiance Fields (NeRF) ist aufgrund der großen Anzahl von Samples, die für das Volumen-Rendering erforderlich sind, rechenintensiv. Neuere Arbeiten haben alternative Sampling-Ansätze eingeführt, um ihre Methoden zu beschleunigen, jedoch stehen diese oft nicht im Fokus der Arbeit. In diesem Papier untersuchen und vergleichen wir mehrere Sampling-Ansätze und zeigen, dass verbessertes Sampling allgemein auf NeRF-Varianten anwendbar ist, unter einem einheitlichen Konzept des Transmittanz-Schätzers. Um zukünftige Experimente zu erleichtern, entwickeln wir NerfAcc, ein Python-Toolkit, das flexible APIs für die Integration fortgeschrittener Sampling-Methoden in NeRF-bezogene Methoden bereitstellt. Wir demonstrieren seine Flexibilität, indem wir zeigen, dass es die Trainingszeit mehrerer aktueller NeRF-Methoden um das 1,5- bis 20-fache reduzieren kann, mit minimalen Änderungen am bestehenden Code. Darüber hinaus können hochgradig angepasste NeRFs, wie Instant-NGP, mit NerfAcc in nativem PyTorch implementiert werden.

English

Optimizing and rendering Neural Radiance Fields is computationally expensive due to the vast number of samples required by volume rendering. Recent works have included alternative sampling approaches to help accelerate their methods, however, they are often not the focus of the work. In this paper, we investigate and compare multiple sampling approaches and demonstrate that improved sampling is generally applicable across NeRF variants under an unified concept of transmittance estimator. To facilitate future experiments, we develop NerfAcc, a Python toolbox that provides flexible APIs for incorporating advanced sampling methods into NeRF related methods. We demonstrate its flexibility by showing that it can reduce the training time of several recent NeRF methods by 1.5x to 20x with minimal modifications to the existing codebase. Additionally, highly customized NeRFs, such as Instant-NGP, can be implemented in native PyTorch using NerfAcc.