NeuFlow v2 : Estimation hautement efficace du flux optique sur les dispositifs embarqués

NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

August 19, 2024

Auteurs: Zhiyong Zhang, Aniket Gupta, Huaizu Jiang, Hanumant Singh

cs.AI

Résumé

L'estimation en temps réel de flux optique avec une grande précision est cruciale pour diverses applications du monde réel. Bien que les méthodes récentes de flux optique basées sur l'apprentissage aient atteint une grande précision, elles s'accompagnent souvent de coûts de calcul significatifs. Dans cet article, nous proposons une méthode de flux optique hautement efficace qui équilibre une grande précision avec des exigences de calcul réduites. En nous appuyant sur NeuFlow v1, nous introduisons de nouveaux composants, notamment un réseau de base beaucoup plus léger et un module de raffinement rapide. Ces deux modules contribuent à maintenir les exigences de calcul légères tout en offrant une précision proche de l'état de l'art. Comparé à d'autres méthodes de pointe, notre modèle atteint une accélération de 10x à 70x tout en maintenant des performances comparables sur des données synthétiques et réelles. Il est capable de fonctionner à plus de 20 FPS sur des images de résolution 512x384 sur un Jetson Orin Nano. Le code complet d'entraînement et d'évaluation est disponible à l'adresse https://github.com/neufieldrobotics/NeuFlow_v2.

English

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512x384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.