Individuazione delle Posizioni 3D di Oggetti Distanti da Movimenti di Fotocamera Rumore e Sequenze di Segmentazione Semantica

Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

September 25, 2025

Autori: Julius Pesonen, Arno Solin, Eija Honkavaara

cs.AI

Abstract

La localizzazione di oggetti 3D basata su una sequenza di misurazioni della fotocamera è essenziale per attività di sorveglianza critiche per la sicurezza, come il monitoraggio degli incendi boschivi tramite droni. La localizzazione di oggetti rilevati con una fotocamera può tipicamente essere risolta con stime dense della profondità o ricostruzioni 3D della scena. Tuttavia, nel contesto di oggetti distanti o di attività limitate dalla quantità di risorse computazionali disponibili, nessuna di queste soluzioni è fattibile. In questo articolo, dimostriamo che il compito può essere risolto utilizzando filtri particellari sia per scenari con un singolo bersaglio che con più bersagli. Il metodo è stato studiato utilizzando una simulazione 3D e una sequenza di segmentazione delle immagini basata su droni con stime della posa della fotocamera basate sul sistema di navigazione satellitare globale (GNSS). I risultati hanno mostrato che un filtro particellare può essere utilizzato per risolvere compiti pratici di localizzazione basati sulle pose della fotocamera e sui segmenti delle immagini in situazioni in cui altre soluzioni falliscono. Il filtro particellare è indipendente dal metodo di rilevamento, rendendolo flessibile per nuovi compiti. Lo studio dimostra inoltre che il monitoraggio degli incendi boschivi tramite droni può essere condotto utilizzando il metodo proposto abbinato a un modello preesistente di segmentazione delle immagini.

English

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.