NeuFlow v2: 엣지 장치에서 고효율의 광학 흐름 추정

NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

August 19, 2024

저자: Zhiyong Zhang, Aniket Gupta, Huaizu Jiang, Hanumant Singh

cs.AI

초록

다양한 실제 응용 프로그램에 대해 실시간 고정확도 광학 흐름 추정은 중요합니다. 최근 학습 기반 광학 흐름 방법은 높은 정확도를 달성했지만 종종 상당한 계산 비용이 발생합니다. 본 논문에서는 높은 정확도와 줄어든 계산 요구 사항을 균형있게 유지하는 매우 효율적인 광학 흐름 방법을 제안합니다. NeuFlow v1을 기반으로 새로운 구성 요소를 소개하여 훨씬 가벼운 백본과 빠른 세부 조정 모듈을 포함합니다. 이 두 모듈은 계산 요구 사항을 가볍게 유지하면서 최첨단 정확도에 근접하는 데 도움이 됩니다. 다른 최첨단 방법과 비교하면, 저희 모델은 합성 및 실제 데이터 모두에서 비슷한 성능을 유지하면서 10배에서 70배의 가속을 달성합니다. Jetson Orin Nano에서 512x384 해상도 이미지에서 초당 20 프레임 이상으로 실행할 수 있습니다. 전체 교육 및 평가 코드는 https://github.com/neufieldrobotics/NeuFlow_v2에서 사용할 수 있습니다.

English

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512x384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.