NerfBridge: Echtzeitfähiges, Online-Training von Neural Radiance Fields für die Robotik

NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

May 16, 2023

Autoren: Javier Yu, Jun En Low, Keiko Nagami, Mac Schwager

cs.AI

Zusammenfassung

Diese Arbeit wurde auf dem IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations vorgestellt. Neurale Strahlungsfelder (NeRFs) sind eine Klasse impliziter Szenendarstellungen, die 3D-Umgebungen aus Farbbildern modellieren. NeRFs sind ausdrucksstark und können die komplexe und mehrskalige Geometrie realer Umgebungen abbilden, was sie zu einem potenziell mächtigen Werkzeug für Robotikanwendungen macht. Moderne NeRF-Trainingsbibliotheken können ein fotorealistisches NeRF aus einem statischen Datensatz in nur wenigen Sekunden erzeugen, sind jedoch für den Offline-Einsatz konzipiert und erfordern einen langsamen Vorberechnungsschritt zur Pose-Optimierung. In dieser Arbeit stellen wir NerfBridge vor, eine Open-Source-Schnittstelle zwischen dem Robot Operating System (ROS) und der beliebten Nerfstudio-Bibliothek für das Echtzeit-Training von NeRFs aus einem Bildstrom. NerfBridge ermöglicht die schnelle Entwicklung von Forschung zu Anwendungen von NeRFs in der Robotik, indem es eine erweiterbare Schnittstelle zu den effizienten Trainingspipelines und Modellbibliotheken von Nerfstudio bereitstellt. Als Beispielanwendungsfall skizzieren wir eine Hardware-Konfiguration, die mit NerfBridge verwendet werden kann, um ein NeRF aus Bildern zu trainieren, die von einer an einem Quadrocopter montierten Kamera in Innen- und Außenumgebungen aufgenommen wurden. Begleitendes Video: https://youtu.be/EH0SLn-RcDg und Code: https://github.com/javieryu/nerf_bridge.

English

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.