NerfBridge: ロボティクスにおけるリアルタイムオンラインNeural Radiance Fieldトレーニングの実現

NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

May 16, 2023

著者: Javier Yu, Jun En Low, Keiko Nagami, Mac Schwager

cs.AI

要旨

本研究成果は、IEEE International Conference on Robotics and Automation 2023の「Unconventional Spatial Representations」ワークショップで発表されました。 ニューラルラジアンスフィールド（NeRF）は、カラー画像から3D環境をモデル化する暗黙的なシーン表現の一種です。NeRFは表現力が高く、現実世界の複雑で多様なスケールの幾何学をモデル化できるため、ロボティクスアプリケーションにおいて強力なツールとなる可能性があります。現代のNeRFトレーニングライブラリは、静的なデータセットからフォトリアルなNeRFをわずか数秒で生成できますが、オフライン使用を前提としており、遅いポーズ最適化の事前計算ステップを必要とします。 本研究では、Robot Operating System（ROS）と人気のNerfstudioライブラリを接続するオープンソースのブリッジ「NerfBridge」を提案します。NerfBridgeは、画像ストリームからのリアルタイムかつオンラインでのNeRFトレーニングを可能にします。NerfBridgeは、Nerfstudioが提供する効率的なトレーニングパイプラインとモデルライブラリへの拡張可能なインターフェースを提供することで、ロボティクスにおけるNeRFの応用研究の迅速な開発を支援します。使用例として、クアッドローターに搭載されたカメラで撮影された画像から、屋内および屋外環境でNeRFをトレーニングするためのハードウェアセットアップを概説します。 関連動画はhttps://youtu.be/EH0SLn-RcDg、コードはhttps://github.com/javieryu/nerf_bridgeをご覧ください。

English

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.