NeuFlow: Real-time, hoogwaardige optische stromingsschatting op robots met behulp van edge-apparaten

NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

March 15, 2024

Auteurs: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh

cs.AI

Samenvatting

Real-time optische stroming met hoge nauwkeurigheid is een cruciaal onderdeel in verschillende toepassingen, waaronder lokalisatie en mapping in robotica, objecttracking en activiteitsherkenning in computervisie. Hoewel recente op leren gebaseerde methoden voor optische stroming een hoge nauwkeurigheid hebben bereikt, gaan deze vaak gepaard met hoge rekenkosten. In dit artikel presenteren we een zeer efficiënte architectuur voor optische stroming, genaamd NeuFlow, die zowel de hoge nauwkeurigheid als de rekenkosten aanpakt. De architectuur volgt een globaal-naar-lokaal schema. Gegeven de kenmerken van de invoerbeelden die op verschillende ruimtelijke resoluties zijn geëxtraheerd, wordt globale matching gebruikt om een initiële optische stroming te schatten op de 1/16 resolutie, waarbij grote verplaatsingen worden vastgelegd, die vervolgens wordt verfijnd op de 1/8 resolutie met lichtgewicht CNN-lagen voor betere nauwkeurigheid. We evalueren onze aanpak op Jetson Orin Nano en RTX 2080 om efficiëntieverbeteringen op verschillende rekenplatforms aan te tonen. We behalen een opmerkelijke 10x-80x versnelling in vergelijking met verschillende state-of-the-art methoden, terwijl een vergelijkbare nauwkeurigheid wordt behouden. Onze aanpak bereikt ongeveer 30 FPS op edge computing-platforms, wat een belangrijke doorbraak vertegenwoordigt in het implementeren van complexe computervisietaken zoals SLAM op kleine robots zoals drones. De volledige trainings- en evaluatiecode is beschikbaar op https://github.com/neufieldrobotics/NeuFlow.

English

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.