NeuFlow: Echtzeit-Optischer Fluss mit hoher Genauigkeit auf Robotern unter Verwendung von Edge-Geräten

NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

March 15, 2024

Autoren: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh

cs.AI

Zusammenfassung

Echtzeit-Hochpräzisions-Schätzung des optischen Flusses ist eine entscheidende Komponente in verschiedenen Anwendungen, einschließlich Lokalisierung und Kartierung in der Robotik, Objektverfolgung und Aktivitätserkennung in der Computer Vision. Während neuere lernbasierte optische Flussmethoden hohe Genauigkeit erreicht haben, gehen sie oft mit hohen Rechenkosten einher. In diesem Papier schlagen wir eine äußerst effiziente optische Flussarchitektur namens NeuFlow vor, die sowohl Genauigkeits- als auch Rechenkostenbedenken anspricht. Die Architektur folgt einem globalen-zu-lokalen Schema. Anhand der Merkmale der Eingabebilder, die in verschiedenen räumlichen Auflösungen extrahiert wurden, wird eine globale Zuordnung verwendet, um einen anfänglichen optischen Fluss in der 1/16-Auflösung zu schätzen, der große Verschiebungen erfasst, die dann in der 1/8-Auflösung mit leichten CNN-Schichten für eine bessere Genauigkeit verfeinert werden. Wir evaluieren unseren Ansatz auf Jetson Orin Nano und RTX 2080, um Effizienzverbesserungen auf verschiedenen Rechenplattformen zu demonstrieren. Wir erzielen eine bemerkenswerte 10x-80x Beschleunigung im Vergleich zu mehreren State-of-the-Art-Methoden, während wir eine vergleichbare Genauigkeit beibehalten. Unser Ansatz erreicht etwa 30 FPS auf Edge-Computing-Plattformen, was einen bedeutenden Durchbruch bei der Bereitstellung komplexer Computer-Vision-Aufgaben wie SLAM auf kleinen Robotern wie Drohnen darstellt. Der vollständige Trainings- und Evaluierungscode ist verfügbar unter https://github.com/neufieldrobotics/NeuFlow.

English

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.