NerfBridge: Llevando el Entrenamiento en Tiempo Real y en Línea de Campos de Radiación Neural a la Robótica

NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

May 16, 2023

Autores: Javier Yu, Jun En Low, Keiko Nagami, Mac Schwager

cs.AI

Resumen

Este trabajo fue presentado en el taller sobre Representaciones Espaciales No Convencionales en la Conferencia Internacional de Robótica y Automatización (IEEE ICRA) 2023. Los campos de radiancia neurales (NeRFs, por sus siglas en inglés) son una clase de representaciones implícitas de escenas que modelan entornos 3D a partir de imágenes en color. Los NeRFs son expresivos y pueden modelar la geometría compleja y multiescala de entornos del mundo real, lo que potencialmente los convierte en una herramienta poderosa para aplicaciones en robótica. Las bibliotecas modernas de entrenamiento de NeRFs pueden generar un NeRF fotorrealista a partir de un conjunto de datos estáticos en solo unos segundos, pero están diseñadas para uso fuera de línea y requieren un paso previo de optimización de pose que es lento. En este trabajo proponemos NerfBridge, un puente de código abierto entre el Sistema Operativo de Robots (ROS) y la popular biblioteca Nerfstudio para el entrenamiento en tiempo real y en línea de NeRFs a partir de un flujo de imágenes. NerfBridge facilita el desarrollo rápido de investigaciones sobre aplicaciones de NeRFs en robótica al proporcionar una interfaz extensible a las eficientes canalizaciones de entrenamiento y bibliotecas de modelos ofrecidas por Nerfstudio. Como caso de uso, describimos una configuración de hardware que puede emplear NerfBridge para entrenar un NeRF a partir de imágenes capturadas por una cámara montada en un cuadricóptero, tanto en entornos interiores como exteriores. Para el video complementario: https://youtu.be/EH0SLn-RcDg y el código: https://github.com/javieryu/nerf_bridge.

English

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.