Het bepalen van 3D-posities van verre objecten uit ruizige camerabewegingen en semantische segmentatie-sequenties

Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

September 25, 2025

Auteurs: Julius Pesonen, Arno Solin, Eija Honkavaara

cs.AI

Samenvatting

3D-objectlokalisatie op basis van een reeks camerametingen is essentieel voor veiligheidskritische bewakingstaken, zoals drone-gebaseerde monitoring van bosbranden. Lokalisatie van objecten die met een camera worden gedetecteerd, kan doorgaans worden opgelost met dichte diepteschatting of 3D-scenereconstructie. In de context van verre objecten of taken die beperkt worden door de beschikbare rekenkracht is echter geen van beide oplossingen haalbaar. In dit artikel tonen we aan dat de taak kan worden opgelost met behulp van deeltjesfilters voor zowel scenario's met één als meerdere doelen. De methode werd bestudeerd met behulp van een 3D-simulatie en een drone-gebaseerde beeldsegmentatiereeks met cameraposeschattingen op basis van het Global Navigation Satellite System (GNSS). De resultaten toonden aan dat een deeltjesfilter kan worden gebruikt om praktische lokalisatietaken op te lossen op basis van cameraposes en beeldsegmenten in situaties waarin andere oplossingen falen. Het deeltjesfilter is onafhankelijk van de detectiemethode, waardoor het flexibel is voor nieuwe taken. De studie toont ook aan dat drone-gebaseerde monitoring van bosbranden kan worden uitgevoerd met de voorgestelde methode in combinatie met een bestaand beeldsegmentatiemodel.

English

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.