NeuFlow v2: Hochleistungs-Optischer Fluss-Schätzung auf Edge-Geräten

NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

August 19, 2024

Autoren: Zhiyong Zhang, Aniket Gupta, Huaizu Jiang, Hanumant Singh

cs.AI

Zusammenfassung

Echtzeit-Hochpräzisions-Schätzung des optischen Flusses ist entscheidend für verschiedene Anwendungen in der realen Welt. Während neuere lernbasierte Methoden zur optischen Flussschätzung hohe Genauigkeit erreicht haben, gehen sie oft mit erheblichen Rechenkosten einher. In diesem Artikel schlagen wir eine äußerst effiziente Methode zur optischen Flussschätzung vor, die hohe Genauigkeit mit reduziertem Rechenaufwand in Einklang bringt. Aufbauend auf NeuFlow v1 führen wir neue Komponenten ein, darunter ein deutlich leichtgewichtiger Backbone und ein schnelles Verfeinerungsmodul. Beide Module tragen dazu bei, den Rechenaufwand gering zu halten, während sie nahe an der modernsten Genauigkeit liegen. Im Vergleich zu anderen modernsten Methoden erreicht unser Modell eine 10x-70x Beschleunigung, während es vergleichbare Leistungen sowohl auf synthetischen als auch auf realen Daten beibehält. Es ist in der Lage, mit über 20 FPS auf Bildern mit einer Auflösung von 512x384 auf einem Jetson Orin Nano zu laufen. Der vollständige Trainings- und Evaluierungscode ist verfügbar unter https://github.com/neufieldrobotics/NeuFlow_v2.

English

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512x384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.