NeuFlow : Estimation du flux optique en temps réel et haute précision sur les robots utilisant des dispositifs périphériques

NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

March 15, 2024

Auteurs: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh

cs.AI

Résumé

L'estimation en temps réel du flux optique avec une grande précision est un composant crucial dans diverses applications, notamment la localisation et la cartographie en robotique, le suivi d'objets et la reconnaissance d'activités en vision par ordinateur. Bien que les méthodes récentes de flux optique basées sur l'apprentissage aient atteint une grande précision, elles s'accompagnent souvent de coûts de calcul élevés. Dans cet article, nous proposons une architecture de flux optique hautement efficace, appelée NeuFlow, qui répond à la fois aux préoccupations de précision élevée et de coût de calcul. L'architecture suit un schéma global-local. Étant donné les caractéristiques des images d'entrée extraites à différentes résolutions spatiales, une correspondance globale est utilisée pour estimer un flux optique initial à la résolution 1/16, capturant les grands déplacements, qui est ensuite affiné à la résolution 1/8 avec des couches CNN légères pour une meilleure précision. Nous évaluons notre approche sur Jetson Orin Nano et RTX 2080 pour démontrer les améliorations d'efficacité sur différentes plateformes de calcul. Nous obtenons une accélération notable de 10x à 80x par rapport à plusieurs méthodes de pointe, tout en maintenant une précision comparable. Notre approche atteint environ 30 FPS sur les plateformes de calcul en périphérie, ce qui représente une avancée significative dans le déploiement de tâches complexes de vision par ordinateur telles que SLAM sur de petits robots comme les drones. Le code complet d'entraînement et d'évaluation est disponible à l'adresse https://github.com/neufieldrobotics/NeuFlow.

English

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.