NeuFlow v2: Высокоэффективная оценка оптического потока на краевых устройствах

NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

August 19, 2024

Авторы: Zhiyong Zhang, Aniket Gupta, Huaizu Jiang, Hanumant Singh

cs.AI

Аннотация

Оценка оптического потока высокой точности в реальном времени является критически важной для различных прикладных задач. В то время как недавние методы оптического потока на основе обучения достигли высокой точности, они часто сопряжены с значительными вычислительными затратами. В данной статье мы предлагаем высокоэффективный метод оптического потока, который обеспечивает баланс между высокой точностью и сниженными вычислительными требованиями. На основе NeuFlow v1 мы вводим новые компоненты, включая более легковесную основу и быстрый модуль уточнения. Оба эти модуля помогают сохранить низкие вычислительные требования, обеспечивая при этом близкую к передовым показателям точность. По сравнению с другими передовыми методами, наша модель достигает ускорения в 10-70 раз, сохраняя сопоставимую производительность как на синтетических, так и на реальных данных. Она способна работать со скоростью более 20 кадров в секунду на изображениях разрешением 512x384 на Jetson Orin Nano. Полный код обучения и оценки доступен по адресу https://github.com/neufieldrobotics/NeuFlow_v2.

English

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512x384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.