NeuFlow v2: Estimación de Flujo Óptico de Alta Eficiencia en Dispositivos de Borde

NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

August 19, 2024

Autores: Zhiyong Zhang, Aniket Gupta, Huaizu Jiang, Hanumant Singh

cs.AI

Resumen

La estimación de flujo óptico en tiempo real de alta precisión es crucial para diversas aplicaciones del mundo real. Si bien los métodos de flujo óptico basados en aprendizaje recientes han logrado una alta precisión, a menudo conllevan costos computacionales significativos. En este artículo, proponemos un método de flujo óptico altamente eficiente que equilibra alta precisión con una reducción en las demandas computacionales. Basándonos en NeuFlow v1, introducimos nuevos componentes que incluyen una estructura mucho más ligera y un módulo de refinamiento rápido. Ambos módulos ayudan a mantener las demandas computacionales ligeras al tiempo que proporcionan una precisión cercana al estado del arte. En comparación con otros métodos de vanguardia, nuestro modelo logra una aceleración de 10x-70x mientras mantiene un rendimiento comparable tanto en datos sintéticos como en datos del mundo real. Es capaz de funcionar a más de 20 FPS en imágenes de resolución 512x384 en un Jetson Orin Nano. El código completo de entrenamiento y evaluación está disponible en https://github.com/neufieldrobotics/NeuFlow_v2.

English

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512x384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.