NeuFlow: エッジデバイスを用いたロボット向けリアルタイム高精度オプティカルフロー推定

NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

March 15, 2024

著者: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh

cs.AI

要旨

リアルタイム高精度オプティカルフロー推定は、ロボティクスにおける位置推定とマッピング、物体追跡、コンピュータビジョンにおける行動認識など、様々なアプリケーションにおいて重要な要素です。近年の学習ベースのオプティカルフロー手法は高い精度を達成していますが、しばしば重い計算コストを伴います。本論文では、高精度と計算コストの両方の課題に対処する、非常に効率的なオプティカルフローアーキテクチャ「NeuFlow」を提案します。このアーキテクチャは、グローバルからローカルへのスキームに従います。異なる空間解像度で抽出された入力画像の特徴を基に、1/16解像度で大規模な変位を捉える初期オプティカルフローを推定するためにグローバルマッチングが採用され、その後、1/8解像度で軽量なCNN層を用いて精度を向上させます。我々は、Jetson Orin NanoとRTX 2080でこのアプローチを評価し、異なる計算プラットフォームでの効率改善を示します。いくつかの最先端手法と比較して、10倍から80倍の速度向上を達成しつつ、同等の精度を維持します。我々のアプローチは、エッジコンピューティングプラットフォームで約30 FPSを達成し、ドローンなどの小型ロボットでのSLAMのような複雑なコンピュータビジョンタスクの展開において重要なブレークスルーを表します。完全なトレーニングと評価コードはhttps://github.com/neufieldrobotics/NeuFlowで公開されています。

English

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.