Ermittlung der 3D-Positionen entfernter Objekte aus verrauschten Kamerabewegungen und semantischen Segmentierungssequenzen

Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

September 25, 2025

papers.authors: Julius Pesonen, Arno Solin, Eija Honkavaara

cs.AI

papers.abstract

Die Lokalisierung von 3D-Objekten basierend auf einer Sequenz von Kameramessungen ist entscheidend für sicherheitsrelevante Überwachungsaufgaben, wie beispielsweise die Überwachung von Waldbränden mittels Drohnen. Die Lokalisierung von Objekten, die mit einer Kamera erfasst werden, kann typischerweise durch dichte Tiefenschätzung oder 3D-Szenenrekonstruktion gelöst werden. Im Kontext von entfernten Objekten oder Aufgaben, die durch die verfügbaren Rechenressourcen begrenzt sind, ist jedoch keine dieser Lösungen praktikabel. In diesem Artikel zeigen wir, dass die Aufgabe mithilfe von Partikelfiltern sowohl für Einzel- als auch für Mehrfachzielszenarien gelöst werden kann. Die Methode wurde anhand einer 3D-Simulation und einer drohnenbasierten Bildsegmentierungssequenz mit kamerapositionsbasierten Schätzungen des globalen Navigationssatellitensystems (GNSS) untersucht. Die Ergebnisse zeigten, dass ein Partikelfilter zur Lösung praktischer Lokalisierungsaufgaben basierend auf Kamerapositionen und Bildsegmenten in Situationen eingesetzt werden kann, in denen andere Lösungen versagen. Der Partikelfilter ist unabhängig von der Detektionsmethode, was ihn flexibel für neue Aufgaben macht. Die Studie zeigt zudem, dass die Überwachung von Waldbränden mittels Drohnen mit der vorgeschlagenen Methode in Kombination mit einem bestehenden Bildsegmentierungsmodell durchgeführt werden kann.

English

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.