NeuFlow v2: Estimação de Fluxo Óptico de Alta Eficiência em Dispositivos de Borda

NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

August 19, 2024

Autores: Zhiyong Zhang, Aniket Gupta, Huaizu Jiang, Hanumant Singh

cs.AI

Resumo

A estimativa de fluxo óptico em tempo real de alta precisão é crucial para várias aplicações do mundo real. Embora os métodos de fluxo óptico baseados em aprendizado recentes tenham alcançado alta precisão, muitas vezes vêm com custos computacionais significativos. Neste artigo, propomos um método de fluxo óptico altamente eficiente que equilibra alta precisão com demandas computacionais reduzidas. Construindo sobre o NeuFlow v1, introduzimos novos componentes, incluindo uma espinha dorsal muito mais leve e um módulo de refinamento rápido. Ambos esses módulos ajudam a manter as demandas computacionais leves, proporcionando resultados próximos ao estado da arte em termos de precisão. Comparado a outros métodos de ponta, nosso modelo alcança uma aceleração de 10x-70x, mantendo um desempenho comparável em dados sintéticos e do mundo real. É capaz de rodar a mais de 20 FPS em imagens de resolução 512x384 em um Jetson Orin Nano. O código completo de treinamento e avaliação está disponível em https://github.com/neufieldrobotics/NeuFlow_v2.

English

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512x384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.