ノイズを含むカメラ移動とセマンティックセグメンテーションシーケンスからの遠方物体の3次元位置推定

要旨

カメラ測定のシーケンスに基づく3D物体の位置推定は、ドローンを用いた山火事監視などの安全上重要な監視タスクにおいて不可欠である。カメラで検出された物体の位置推定は、一般的に高密度深度推定または3Dシーン再構成によって解決できる。しかし、遠方の物体や利用可能な計算リソースが限られたタスクの文脈では、どちらの解決策も実現可能ではない。本論文では、単一および複数のターゲットシナリオにおいて、パーティクルフィルタを使用してこのタスクを解決できることを示す。この手法は、3Dシミュレーションと、全球測位衛星システム（GNSS）に基づくカメラ姿勢推定を伴うドローン画像セグメンテーションシーケンスを用いて検証された。結果は、他の解決策が失敗する状況においても、カメラ姿勢と画像セグメントに基づく実用的な位置推定タスクをパーティクルフィルタで解決できることを示した。パーティクルフィルタは検出方法に依存しないため、新しいタスクに対して柔軟に対応できる。また、本研究は、既存の画像セグメンテーションモデルと組み合わせることで、提案手法を用いてドローンによる山火事監視を実施できることを実証している。

English

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.

ノイズを含むカメラ移動とセマンティックセグメンテーションシーケンスからの遠方物体の3次元位置推定

Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

要旨

Support