NeuFlow v2: Hoogrenderende optische stroomschatting op edge-apparaten

NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

August 19, 2024

Auteurs: Zhiyong Zhang, Aniket Gupta, Huaizu Jiang, Hanumant Singh

cs.AI

Samenvatting

Real-time optische stroming met hoge nauwkeurigheid is cruciaal voor diverse real-world toepassingen. Hoewel recente op leren gebaseerde methoden voor optische stroming een hoge nauwkeurigheid hebben bereikt, gaan deze vaak gepaard met aanzienlijke rekenkosten. In dit artikel presenteren we een zeer efficiënte methode voor optische stroming die een balans vindt tussen hoge nauwkeurigheid en verminderde rekenkosten. Voortbouwend op NeuFlow v1, introduceren we nieuwe componenten, waaronder een veel lichtere backbone en een snel verfijningsmodule. Beide modules helpen om de rekenkosten laag te houden terwijl ze een nauwkeurigheid bieden die dicht bij de state of the art ligt. Vergeleken met andere state of the art methoden, behaalt ons model een versnelling van 10x tot 70x terwijl het vergelijkbare prestaties levert op zowel synthetische als real-world data. Het is in staat om te draaien met meer dan 20 FPS op afbeeldingen met een resolutie van 512x384 op een Jetson Orin Nano. De volledige trainings- en evaluatiecode is beschikbaar op https://github.com/neufieldrobotics/NeuFlow_v2.

English

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512x384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.