NeuFlow v2: Stima ad Alta Efficienza del Flusso Ottico su Dispositivi Edge

NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

August 19, 2024

Autori: Zhiyong Zhang, Aniket Gupta, Huaizu Jiang, Hanumant Singh

cs.AI

Abstract

La stima ottica del flusso in tempo reale ad alta precisione è cruciale per varie applicazioni nel mondo reale. Sebbene i recenti metodi di flusso ottico basati sull'apprendimento abbiano raggiunto un'elevata accuratezza, spesso comportano costi computazionali significativi. In questo articolo, proponiamo un metodo di flusso ottico altamente efficiente che bilancia un'elevata precisione con ridotte esigenze computazionali. Basandoci su NeuFlow v1, introduciamo nuovi componenti, tra cui un'architettura molto più leggera e un modulo di raffinamento veloce. Entrambi questi moduli contribuiscono a mantenere bassi i requisiti computazionali pur fornendo una precisione vicina allo stato dell'arte. Rispetto ad altri metodi all'avanguardia, il nostro modello ottiene un'accelerazione da 10x a 70x mantenendo prestazioni comparabili sia su dati sintetici che reali. È in grado di funzionare a oltre 20 FPS su immagini con risoluzione 512x384 su un Jetson Orin Nano. Il codice completo per l'addestramento e la valutazione è disponibile all'indirizzo https://github.com/neufieldrobotics/NeuFlow_v2.

English

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512x384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.