Détermination des positions 3D d'objets distants à partir de mouvements de caméra bruités et de séquences de segmentation sémantique

Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

September 25, 2025

papers.authors: Julius Pesonen, Arno Solin, Eija Honkavaara

cs.AI

papers.abstract

La localisation d'objets 3D basée sur une séquence de mesures caméra est essentielle pour des tâches de surveillance critiques pour la sécurité, telles que la surveillance des feux de forêt par drone. La localisation d'objets détectés par une caméra peut généralement être résolue par une estimation dense de la profondeur ou une reconstruction 3D de la scène. Cependant, dans le contexte d'objets distants ou de tâches limitées par la quantité de ressources computationnelles disponibles, aucune de ces solutions n'est réalisable. Dans cet article, nous montrons que cette tâche peut être résolue en utilisant des filtres à particules pour des scénarios à cible unique ou multiples. La méthode a été étudiée à l'aide d'une simulation 3D et d'une séquence de segmentation d'images basée sur un drone avec des estimations de pose de caméra basées sur le système de navigation par satellite mondial (GNSS). Les résultats ont montré qu'un filtre à particules peut être utilisé pour résoudre des tâches pratiques de localisation basées sur les poses de caméra et les segments d'image dans ces situations où d'autres solutions échouent. Le filtre à particules est indépendant de la méthode de détection, ce qui le rend flexible pour de nouvelles tâches. L'étude démontre également que la surveillance des feux de forêt par drone peut être réalisée en utilisant la méthode proposée couplée à un modèle de segmentation d'images préexistant.

English

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.