NerfBridge: 실시간 온라인 신경 방사 필드 학습을 로보틱스에 도입하기

NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

May 16, 2023

저자: Javier Yu, Jun En Low, Keiko Nagami, Mac Schwager

cs.AI

초록

본 연구는 IEEE 국제 로봇공학 및 자동화 컨퍼런스 2023의 '비전통적 공간 표현 워크숍'에서 발표되었습니다. 신경 방사 필드(Neural Radiance Fields, NeRFs)는 컬러 이미지로부터 3D 환경을 모델링하는 암묵적 장면 표현 기법의 한 종류입니다. NeRFs는 표현력이 뛰어나며, 실제 세계 환경의 복잡하고 다중 스케일의 기하학적 구조를 모델링할 수 있어 로봇공학 응용 분야에서 강력한 도구로 활용될 잠재력을 가지고 있습니다. 최신 NeRF 학습 라이브러리는 정적 데이터 세트로부터 몇 초 만에 사실적인 NeRF를 생성할 수 있지만, 오프라인 사용을 위해 설계되었으며 느린 포즈 최적화 사전 계산 단계가 필요합니다. 이 연구에서는 ROS(Robot Operating System)와 인기 있는 Nerfstudio 라이브러리 간의 실시간 온라인 NeRF 학습을 위한 오픈소스 브리지인 NerfBridge를 제안합니다. NerfBridge는 Nerfstudio가 제공하는 효율적인 학습 파이프라인과 모델 라이브러리에 대한 확장 가능한 인터페이스를 제공함으로써 로봇공학에서 NeRF 응용 연구의 신속한 개발을 가능하게 합니다. 예시 사용 사례로, 쿼드로터에 장착된 카메라로 촬영한 실내외 환경 이미지를 활용하여 NeRF를 학습하는 하드웨어 설정을 소개합니다. 동영상 및 코드는 다음 링크에서 확인할 수 있습니다: 동영상: https://youtu.be/EH0SLn-RcDg 코드: https://github.com/javieryu/nerf_bridge

English

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.