NerfBridge: Real-time, online training van Neural Radiance Fields naar robotica brengen

NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

May 16, 2023

Auteurs: Javier Yu, Jun En Low, Keiko Nagami, Mac Schwager

cs.AI

Samenvatting

Dit werk werd gepresenteerd op de IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neurale stralingsvelden (NeRFs) zijn een klasse van impliciete scène-representaties die 3D-omgevingen modelleren op basis van kleurenbeelden. NeRFs zijn expressief en kunnen de complexe en multi-schaal geometrie van echte wereldomgevingen modelleren, wat ze potentieel een krachtig hulpmiddel maakt voor robotica-toepassingen. Moderne NeRF-trainingsbibliotheken kunnen een fotorealistisch NeRF genereren vanuit een statische dataset in slechts enkele seconden, maar zijn ontworpen voor offline gebruik en vereisen een langzame pose-optimalisatie voorafgaande berekeningsstap. In dit werk stellen we NerfBridge voor, een open-source brug tussen het Robot Operating System (ROS) en de populaire Nerfstudio-bibliotheek voor real-time, online training van NeRFs vanuit een stroom van beelden. NerfBridge maakt snelle ontwikkeling mogelijk van onderzoek naar toepassingen van NeRFs in robotica door een uitbreidbare interface te bieden naar de efficiënte trainingspijplijnen en modelbibliotheken die door Nerfstudio worden aangeboden. Als voorbeeldgebruik beschrijven we een hardwareopstelling die NerfBridge kan gebruiken om een NeRF te trainen vanuit beelden die zijn vastgelegd door een camera gemonteerd op een quadrotor, zowel in binnen- als buitenomgevingen. Voor begeleidende video https://youtu.be/EH0SLn-RcDg en code https://github.com/javieryu/nerf_bridge.

English

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.