NerfBridge: Portare l'Addestramento Online e in Tempo Reale dei Campi di Radianza Neurali alla Robotica

NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

May 16, 2023

Autori: Javier Yu, Jun En Low, Keiko Nagami, Mac Schwager

cs.AI

Abstract

Questo lavoro è stato presentato al Workshop sulle Rappresentazioni Spaziali Non Convenzionali della Conferenza Internazionale IEEE su Robotica e Automazione 2023. I campi di radianza neurale (NeRF) sono una classe di rappresentazioni implicite di scene che modellano ambienti 3D a partire da immagini a colori. I NeRF sono espressivi e possono modellare la geometria complessa e multi-scala degli ambienti del mondo reale, il che li rende potenzialmente uno strumento potente per applicazioni robotiche. Le moderne librerie di addestramento NeRF possono generare un NeRF foto-realistico da un set di dati statico in pochi secondi, ma sono progettate per un uso offline e richiedono un passaggio preliminare di ottimizzazione della posa che è lento. In questo lavoro proponiamo NerfBridge, un ponte open-source tra il Robot Operating System (ROS) e la popolare libreria Nerfstudio per l'addestramento in tempo reale e online di NeRF da un flusso di immagini. NerfBridge consente uno sviluppo rapido della ricerca sulle applicazioni dei NeRF nella robotica, fornendo un'interfaccia estensibile alle pipeline di addestramento efficienti e alle librerie di modelli offerte da Nerfstudio. Come caso d'uso esemplificativo, delineiamo una configurazione hardware che può utilizzare NerfBridge per addestrare un NeRF da immagini catturate da una telecamera montata su un quadrirotore, sia in ambienti interni che esterni. Per il video di accompagnamento https://youtu.be/EH0SLn-RcDg e il codice https://github.com/javieryu/nerf_bridge.

English

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.