NerfBridge: Trazendo o Treinamento em Tempo Real e Online de Campos de Radiação Neural para a Robótica

NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

May 16, 2023

Autores: Javier Yu, Jun En Low, Keiko Nagami, Mac Schwager

cs.AI

Resumo

Este trabalho foi apresentado no Workshop sobre Representações Espaciais Não Convencionais da Conferência Internacional de Robótica e Automação do IEEE 2023. Campos de radiação neural (NeRFs) são uma classe de representações implícitas de cenas que modelam ambientes 3D a partir de imagens coloridas. Os NeRFs são expressivos e podem modelar a geometria complexa e multiescala de ambientes do mundo real, o que potencialmente os torna uma ferramenta poderosa para aplicações em robótica. Bibliotecas modernas de treinamento de NeRFs podem gerar um NeRF foto-realístico a partir de um conjunto de dados estático em apenas alguns segundos, mas são projetadas para uso offline e exigem uma etapa de pré-computação lenta de otimização de pose. Neste trabalho, propomos o NerfBridge, uma ponte de código aberto entre o Robot Operating System (ROS) e a popular biblioteca Nerfstudio para o treinamento em tempo real e online de NeRFs a partir de um fluxo de imagens. O NerfBridge permite o desenvolvimento rápido de pesquisas sobre aplicações de NeRFs em robótica, fornecendo uma interface extensível para os pipelines de treinamento eficientes e bibliotecas de modelos oferecidos pelo Nerfstudio. Como exemplo de caso de uso, descrevemos uma configuração de hardware que pode ser usada com o NerfBridge para treinar um NeRF a partir de imagens capturadas por uma câmera montada em um quadrirrotor, tanto em ambientes internos quanto externos. Para o vídeo complementar, acesse https://youtu.be/EH0SLn-RcDg e para o código, https://github.com/javieryu/nerf_bridge.

English

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.