NerfBridge: Реализация обучения нейронных полей излучения в реальном времени для робототехники
NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics
May 16, 2023
Авторы: Javier Yu, Jun En Low, Keiko Nagami, Mac Schwager
cs.AI
Аннотация
Данная работа была представлена на семинаре по нетрадиционным пространственным представлениям в рамках Международной конференции IEEE по робототехнике и автоматизации 2023 года.
Нейронные поля излучения (NeRF) представляют собой класс неявных моделей сцен, которые воссоздают трёхмерные среды на основе цветных изображений. NeRF обладают высокой выразительностью и способны моделировать сложную и многоуровневую геометрию реальных сред, что делает их потенциально мощным инструментом для применения в робототехнике. Современные библиотеки для обучения NeRF могут создавать фотореалистичные модели NeRF из статичного набора данных всего за несколько секунд, однако они предназначены для оффлайн-использования и требуют предварительного медленного этапа оптимизации поз.
В данной работе мы представляем NerfBridge — открытый мост между операционной системой для роботов (ROS) и популярной библиотекой Nerfstudio для обучения NeRF в реальном времени на потоке изображений. NerfBridge ускоряет разработку исследований по применению NeRF в робототехнике, предоставляя расширяемый интерфейс к эффективным конвейерам обучения и библиотекам моделей, доступным в Nerfstudio. В качестве примера использования мы описываем аппаратную установку, которая может быть использована с NerfBridge для обучения NeRF на изображениях, захваченных камерой, установленной на квадрокоптере, как в помещении, так и на открытом воздухе.
Сопроводительное видео: https://youtu.be/EH0SLn-RcDg и код: https://github.com/javieryu/nerf_bridge.
English
This work was presented at the IEEE International Conference on Robotics and
Automation 2023 Workshop on Unconventional Spatial Representations.
Neural radiance fields (NeRFs) are a class of implicit scene representations
that model 3D environments from color images. NeRFs are expressive, and can
model the complex and multi-scale geometry of real world environments, which
potentially makes them a powerful tool for robotics applications. Modern NeRF
training libraries can generate a photo-realistic NeRF from a static data set
in just a few seconds, but are designed for offline use and require a slow pose
optimization pre-computation step.
In this work we propose NerfBridge, an open-source bridge between the Robot
Operating System (ROS) and the popular Nerfstudio library for real-time, online
training of NeRFs from a stream of images. NerfBridge enables rapid development
of research on applications of NeRFs in robotics by providing an extensible
interface to the efficient training pipelines and model libraries provided by
Nerfstudio. As an example use case we outline a hardware setup that can be used
NerfBridge to train a NeRF from images captured by a camera mounted to a
quadrotor in both indoor and outdoor environments.
For accompanying video https://youtu.be/EH0SLn-RcDg and code
https://github.com/javieryu/nerf_bridge.