NeuFlow: Estimação de Fluxo Óptico em Tempo Real e Alta Precisão em Robôs Utilizando Dispositivos de Borda

NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

March 15, 2024

Autores: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh

cs.AI

Resumo

A estimação de fluxo óptico de alta precisão em tempo real é um componente crucial em diversas aplicações, incluindo localização e mapeamento em robótica, rastreamento de objetos e reconhecimento de atividades em visão computacional. Embora os métodos recentes de fluxo óptico baseados em aprendizado tenham alcançado alta precisão, eles frequentemente vêm acompanhados de custos computacionais elevados. Neste artigo, propomos uma arquitetura de fluxo óptico altamente eficiente, chamada NeuFlow, que aborda tanto a alta precisão quanto as preocupações com custo computacional. A arquitetura segue um esquema global-para-local. Dadas as características das imagens de entrada extraídas em diferentes resoluções espaciais, o casamento global é empregado para estimar um fluxo óptico inicial na resolução 1/16, capturando grandes deslocamentos, que é então refinado na resolução 1/8 com camadas CNN leves para melhor precisão. Avaliamos nossa abordagem no Jetson Orin Nano e RTX 2080 para demonstrar melhorias de eficiência em diferentes plataformas de computação. Alcançamos um notável aumento de velocidade de 10x a 80x em comparação com vários métodos state-of-the-art, mantendo precisão comparável. Nossa abordagem alcança cerca de 30 FPS em plataformas de computação de borda, o que representa um avanço significativo na implantação de tarefas complexas de visão computacional, como SLAM, em pequenos robôs como drones. O código completo de treinamento e avaliação está disponível em https://github.com/neufieldrobotics/NeuFlow.

English

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.