NeuFlow: Оценка оптического потока в реальном времени с высокой точностью на роботах с использованием краевых устройств

NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

March 15, 2024

Авторы: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh

cs.AI

Аннотация

Оценка оптического потока высокой точности в реальном времени является ключевым компонентом в различных приложениях, включая локализацию и построение карт в робототехнике, отслеживание объектов и распознавание действий в компьютерном зрении. В то время как недавние методы оптического потока на основе обучения достигли высокой точности, они часто сопряжены с высокими вычислительными затратами. В данной статье мы предлагаем высокоэффективную архитектуру оптического потока, названную NeuFlow, которая учитывает как высокую точность, так и проблемы вычислительных затрат. Архитектура следует схеме от глобального к локальному. Используется глобальное сопоставление для оценки начального оптического потока на разрешении 1/16, захватывающего большое смещение, которое затем уточняется на разрешении 1/8 с помощью легких слоев CNN для повышения точности. Мы оцениваем наш подход на Jetson Orin Nano и RTX 2080, чтобы продемонстрировать улучшение эффективности на различных вычислительных платформах. Мы достигаем значительного ускорения в 10-80 раз по сравнению с несколькими современными методами, сохраняя сопоставимую точность. Наш подход достигает около 30 кадров в секунду на вычислительных платформах на краю, что представляет собой значительный прорыв в развертывании сложных задач компьютерного зрения, таких как SLAM, на маленьких роботах, например, дронах. Полный код обучения и оценки доступен по ссылке https://github.com/neufieldrobotics/NeuFlow.

English

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.