잡음이 포함된 카메라 이동 및 시맨틱 세그멘테이션 시퀀스를 통한 원거리 물체의 3D 위치 추정

Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

September 25, 2025

저자: Julius Pesonen, Arno Solin, Eija Honkavaara

cs.AI

초록

카메라 측정 시퀀스 기반 3D 객체 위치 파악은 드론 기반 산불 감시와 같은 안전이 중요한 감시 작업에 필수적이다. 카메라로 감지된 객체의 위치 파악은 일반적으로 조밀한 깊이 추정 또는 3D 장면 재구성을 통해 해결할 수 있다. 그러나 원거리 객체나 사용 가능한 계산 자원이 제한된 작업의 경우, 두 방법 모두 실현 가능하지 않다. 본 논문에서는 단일 및 다중 타겟 시나리오 모두에 대해 파티클 필터를 사용하여 이 작업을 해결할 수 있음을 보여준다. 이 방법은 3D 시뮬레이션과 글로벌 내비게이션 위성 시스템(GNSS) 기반 카메라 포즈 추정을 사용한 드론 기반 이미지 세그멘테이션 시퀀스를 통해 연구되었다. 결과는 다른 해결책이 실패하는 상황에서도 카메라 포즈와 이미지 세그먼트를 기반으로 실용적인 위치 파악 작업을 해결하는 데 파티클 필터를 사용할 수 있음을 보여주었다. 파티클 필터는 감지 방법과 독립적이어서 새로운 작업에 유연하게 적용할 수 있다. 또한, 이 연구는 기존의 이미지 세그멘테이션 모델과 결합하여 제안된 방법을 사용해 드론 기반 산불 감시를 수행할 수 있음을 입증한다.

English

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.