Localización de Posiciones 3D de Objetos Distantes a partir de Movimientos de Cámara Ruidosos y Secuencias de Segmentación Semántica

Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

September 25, 2025

Autores: Julius Pesonen, Arno Solin, Eija Honkavaara

cs.AI

Resumen

La localización de objetos en 3D basada en una secuencia de mediciones de cámara es esencial para tareas de vigilancia críticas para la seguridad, como el monitoreo de incendios forestales mediante drones. La localización de objetos detectados con una cámara puede resolverse típicamente mediante estimación densa de profundidad o reconstrucción de escenas en 3D. Sin embargo, en el contexto de objetos distantes o tareas limitadas por la cantidad de recursos computacionales disponibles, ninguna de estas soluciones es viable. En este artículo, demostramos que la tarea puede resolverse utilizando filtros de partículas tanto para escenarios de un solo objetivo como de múltiples objetivos. El método se estudió utilizando una simulación en 3D y una secuencia de segmentación de imágenes basada en drones con estimaciones de la pose de la cámara basadas en el sistema global de navegación por satélite (GNSS). Los resultados mostraron que un filtro de partículas puede utilizarse para resolver tareas prácticas de localización basadas en las poses de la cámara y segmentos de imagen en situaciones donde otras soluciones fallan. El filtro de partículas es independiente del método de detección, lo que lo hace flexible para nuevas tareas. El estudio también demuestra que el monitoreo de incendios forestales mediante drones puede llevarse a cabo utilizando el método propuesto junto con un modelo de segmentación de imágenes preexistente.

English

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.