Localização de Posições 3D de Objetos Distantes a partir de Movimentos de Câmera Ruidosos e Sequências de Segmentação Semântica

Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

September 25, 2025

Autores: Julius Pesonen, Arno Solin, Eija Honkavaara

cs.AI

Resumo

A localização de objetos 3D com base em uma sequência de medições de câmera é essencial para tarefas de vigilância críticas para a segurança, como o monitoramento de incêndios florestais baseado em drones. A localização de objetos detectados por uma câmera pode normalmente ser resolvida com estimativa densa de profundidade ou reconstrução 3D da cena. No entanto, no contexto de objetos distantes ou tarefas limitadas pela quantidade de recursos computacionais disponíveis, nenhuma dessas soluções é viável. Neste artigo, mostramos que a tarefa pode ser resolvida usando filtros de partículas tanto para cenários com um único alvo quanto para múltiplos alvos. O método foi estudado usando uma simulação 3D e uma sequência de segmentação de imagens baseada em drones com estimativas de pose da câmera baseadas no sistema global de navegação por satélite (GNSS). Os resultados mostraram que um filtro de partículas pode ser usado para resolver tarefas práticas de localização com base nas poses da câmera e segmentos de imagem nessas situações em que outras soluções falham. O filtro de partículas é independente do método de detecção, tornando-o flexível para novas tarefas. O estudo também demonstra que o monitoramento de incêndios florestais baseado em drones pode ser conduzido usando o método proposto em conjunto com um modelo de segmentação de imagens pré-existente.

English

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.