NeuFlow: Estimación de flujo óptico en tiempo real y alta precisión en robots utilizando dispositivos de borde

NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

March 15, 2024

Autores: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh

cs.AI

Resumen

La estimación de flujo óptico de alta precisión en tiempo real es un componente crucial en diversas aplicaciones, incluyendo la localización y mapeo en robótica, el seguimiento de objetos y el reconocimiento de actividades en visión por computadora. Si bien los métodos recientes de flujo óptico basados en aprendizaje han logrado una alta precisión, a menudo conllevan costos computacionales elevados. En este artículo, proponemos una arquitectura de flujo óptico altamente eficiente, denominada NeuFlow, que aborda tanto la alta precisión como los costos computacionales. La arquitectura sigue un esquema de global a local. Dadas las características de las imágenes de entrada extraídas a diferentes resoluciones espaciales, se emplea un emparejamiento global para estimar un flujo óptico inicial en la resolución 1/16, capturando grandes desplazamientos, el cual luego se refina en la resolución 1/8 con capas CNN ligeras para una mayor precisión. Evaluamos nuestro enfoque en Jetson Orin Nano y RTX 2080 para demostrar mejoras en eficiencia en diferentes plataformas de computación. Logramos una notable aceleración de 10x a 80x en comparación con varios métodos de vanguardia, manteniendo una precisión comparable. Nuestro enfoque alcanza alrededor de 30 FPS en plataformas de computación de borde, lo que representa un avance significativo en la implementación de tareas complejas de visión por computadora, como SLAM, en pequeños robots como drones. El código completo de entrenamiento y evaluación está disponible en https://github.com/neufieldrobotics/NeuFlow.

English

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.