NeuFlow: 에지 디바이스에서 실시간 고정밀 광학 흐름 추정을 통한 로봇 구현

NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices

March 15, 2024

저자: Zhiyong Zhang, Huaizu Jiang, Hanumant Singh

cs.AI

초록

실시간 고정밀 광학 흐름(optical flow) 추정은 로봇 공학의 위치 추정 및 매핑, 컴퓨터 비전의 객체 추적 및 활동 인식 등 다양한 응용 분야에서 중요한 구성 요소입니다. 최근 학습 기반 광학 흐름 방법들은 높은 정확도를 달성했지만, 종종 높은 계산 비용이 수반됩니다. 본 논문에서는 높은 정확도와 계산 비용 문제를 동시에 해결하는 고효율 광학 흐름 아키텍처인 NeuFlow를 제안합니다. 이 아키텍처는 전역에서 지역으로 이어지는 방식(global-to-local scheme)을 따릅니다. 서로 다른 공간 해상도에서 추출된 입력 이미지의 특징을 기반으로, 1/16 해상도에서 대규모 변위를 포착하는 초기 광학 흐름을 추정하기 위해 전역 매칭(global matching)을 사용하며, 이후 1/8 해상도에서 경량 CNN 레이어를 통해 정확도를 더욱 개선합니다. 우리는 Jetson Orin Nano와 RTX 2080에서 이 접근 방식을 평가하여 다양한 컴퓨팅 플랫폼에서의 효율성 개선을 입증했습니다. 여러 최신 방법들과 비교하여 10배에서 80배에 달하는 속도 향상을 달성하면서도 비슷한 정확도를 유지했습니다. 우리의 접근 방식은 에지 컴퓨팅 플랫폼에서 약 30 FPS를 달성하며, 이는 드론과 같은 소형 로봇에 SLAM과 같은 복잡한 컴퓨터 비전 작업을 배포하는 데 있어 중요한 돌파구를 나타냅니다. 전체 학습 및 평가 코드는 https://github.com/neufieldrobotics/NeuFlow에서 확인할 수 있습니다.

English

Real-time high-accuracy optical flow estimation is a crucial component in various applications, including localization and mapping in robotics, object tracking, and activity recognition in computer vision. While recent learning-based optical flow methods have achieved high accuracy, they often come with heavy computation costs. In this paper, we propose a highly efficient optical flow architecture, called NeuFlow, that addresses both high accuracy and computational cost concerns. The architecture follows a global-to-local scheme. Given the features of the input images extracted at different spatial resolutions, global matching is employed to estimate an initial optical flow on the 1/16 resolution, capturing large displacement, which is then refined on the 1/8 resolution with lightweight CNN layers for better accuracy. We evaluate our approach on Jetson Orin Nano and RTX 2080 to demonstrate efficiency improvements across different computing platforms. We achieve a notable 10x-80x speedup compared to several state-of-the-art methods, while maintaining comparable accuracy. Our approach achieves around 30 FPS on edge computing platforms, which represents a significant breakthrough in deploying complex computer vision tasks such as SLAM on small robots like drones. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow.