NerfBridge : Apporter l'entraînement en temps réel et en ligne des champs de radiance neuronaux à la robotique

NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

May 16, 2023

Auteurs: Javier Yu, Jun En Low, Keiko Nagami, Mac Schwager

cs.AI

Résumé

Ce travail a été présenté lors de l'atelier sur les représentations spatiales non conventionnelles de la Conférence internationale IEEE sur la robotique et l'automatisation (ICRA) 2023. Les champs de radiance neuronaux (NeRFs) sont une classe de représentations implicites de scènes qui modélisent des environnements 3D à partir d'images couleur. Les NeRFs sont expressifs et peuvent modéliser la géométrie complexe et multi-échelle des environnements réels, ce qui en fait potentiellement un outil puissant pour les applications robotiques. Les bibliothèques modernes d'entraînement de NeRFs peuvent générer un NeRF photo-réaliste à partir d'un ensemble de données statiques en quelques secondes, mais elles sont conçues pour une utilisation hors ligne et nécessitent une étape de pré-calcul d'optimisation de pose lente. Dans ce travail, nous proposons NerfBridge, une passerelle open-source entre le système d'exploitation robotique (ROS) et la bibliothèque populaire Nerfstudio pour l'entraînement en temps réel et en ligne de NeRFs à partir d'un flux d'images. NerfBridge permet un développement rapide de la recherche sur les applications des NeRFs en robotique en fournissant une interface extensible aux pipelines d'entraînement efficaces et aux bibliothèques de modèles proposés par Nerfstudio. À titre d'exemple d'utilisation, nous décrivons une configuration matérielle qui peut exploiter NerfBridge pour entraîner un NeRF à partir d'images capturées par une caméra montée sur un quadrirotor, aussi bien en intérieur qu'en extérieur. Pour la vidéo d'accompagnement : https://youtu.be/EH0SLn-RcDg et le code : https://github.com/javieryu/nerf_bridge.

English

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.