NeuFlow v2: エッジデバイス向け高効率オプティカルフロー推定

NeuFlow v2: High-Efficiency Optical Flow Estimation on Edge Devices

August 19, 2024

著者: Zhiyong Zhang, Aniket Gupta, Huaizu Jiang, Hanumant Singh

cs.AI

要旨

リアルタイムで高精度なオプティカルフロー推定は、さまざまな実世界のアプリケーションにおいて極めて重要です。近年の学習ベースのオプティカルフロー手法は高い精度を達成していますが、しばしば大きな計算コストを伴います。本論文では、高精度と計算負荷の低減を両立する、非常に効率的なオプティカルフロー手法を提案します。NeuFlow v1を基盤として、大幅に軽量化されたバックボーンと高速なリファインメントモジュールを含む新たなコンポーネントを導入しました。これらのモジュールは、計算負荷を抑えつつ、ほぼ最先端の精度を維持するのに役立ちます。他の最先端手法と比較して、本モデルは10倍から70倍の高速化を実現し、合成データと実世界データの両方で同等の性能を維持しています。Jetson Orin Nano上で512x384解像度の画像に対して20 FPS以上の速度で動作可能です。トレーニングと評価の完全なコードはhttps://github.com/neufieldrobotics/NeuFlow_v2で公開されています。

English

Real-time high-accuracy optical flow estimation is crucial for various real-world applications. While recent learning-based optical flow methods have achieved high accuracy, they often come with significant computational costs. In this paper, we propose a highly efficient optical flow method that balances high accuracy with reduced computational demands. Building upon NeuFlow v1, we introduce new components including a much more light-weight backbone and a fast refinement module. Both these modules help in keeping the computational demands light while providing close to state of the art accuracy. Compares to other state of the art methods, our model achieves a 10x-70x speedup while maintaining comparable performance on both synthetic and real-world data. It is capable of running at over 20 FPS on 512x384 resolution images on a Jetson Orin Nano. The full training and evaluation code is available at https://github.com/neufieldrobotics/NeuFlow_v2.