NeuFlow: Stima del Flusso Ottico in Tempo Reale e ad Alta Precisione su Robot Utilizzando Dispositivi Edge

NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

March 15, 2024

Autori: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh

cs.AI

Abstract

La stima del flusso ottico ad alta precisione in tempo reale è un componente cruciale in varie applicazioni, tra cui la localizzazione e la mappatura nella robotica, il tracciamento degli oggetti e il riconoscimento delle attività nella visione artificiale. Sebbene i recenti metodi di flusso ottico basati sull'apprendimento abbiano raggiunto un'elevata precisione, spesso comportano costi computazionali elevati. In questo articolo, proponiamo un'architettura per il flusso ottico altamente efficiente, denominata NeuFlow, che affronta sia le preoccupazioni relative all'alta precisione che ai costi computazionali. L'architettura segue uno schema globale-locale. Date le caratteristiche delle immagini di input estratte a diverse risoluzioni spaziali, viene utilizzato un matching globale per stimare un flusso ottico iniziale alla risoluzione 1/16, catturando grandi spostamenti, che viene poi raffinato alla risoluzione 1/8 con strati CNN leggeri per una migliore precisione. Valutiamo il nostro approccio su Jetson Orin Nano e RTX 2080 per dimostrare miglioramenti dell'efficienza su diverse piattaforme di calcolo. Raggiungiamo un notevole incremento di velocità da 10x a 80x rispetto a diversi metodi all'avanguardia, mantenendo una precisione comparabile. Il nostro approccio raggiunge circa 30 FPS su piattaforme di edge computing, rappresentando una svolta significativa nell'implementazione di complessi compiti di visione artificiale come SLAM su piccoli robot come i droni. Il codice completo per l'addestramento e la valutazione è disponibile all'indirizzo https://github.com/neufieldrobotics/NeuFlow.

English

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.