Определение 3D-позиций удаленных объектов на основе зашумленных данных о движении камеры и последовательностей семантической сегментации

Finding 3D Positions of Distant Objects from Noisy Camera Movement and Semantic Segmentation Sequences

September 25, 2025

Авторы: Julius Pesonen, Arno Solin, Eija Honkavaara

cs.AI

Аннотация

Локализация 3D-объектов на основе последовательности измерений с камеры является важной задачей для критически важных систем наблюдения, таких как мониторинг лесных пожаров с использованием дронов. Локализация объектов, обнаруженных с помощью камеры, обычно может быть решена с использованием плотного оценивания глубины или реконструкции 3D-сцены. Однако в случаях с удаленными объектами или задачами, ограниченными объемом доступных вычислительных ресурсов, ни одно из этих решений не является осуществимым. В данной работе мы показываем, что эту задачу можно решить с использованием фильтров частиц как для сценариев с одним, так и с несколькими целями. Метод был изучен с использованием 3D-симуляции и последовательности сегментации изображений с дрона с оценками положения камеры на основе глобальной навигационной спутниковой системы (GNSS). Результаты показали, что фильтр частиц может быть использован для решения практических задач локализации на основе положений камеры и сегментов изображений в ситуациях, где другие методы не работают. Фильтр частиц не зависит от метода обнаружения, что делает его гибким для новых задач. Исследование также демонстрирует, что мониторинг лесных пожаров с использованием дронов может быть проведен с использованием предложенного метода в сочетании с уже существующей моделью сегментации изображений.

English

3D object localisation based on a sequence of camera measurements is essential for safety-critical surveillance tasks, such as drone-based wildfire monitoring. Localisation of objects detected with a camera can typically be solved with dense depth estimation or 3D scene reconstruction. However, in the context of distant objects or tasks limited by the amount of available computational resources, neither solution is feasible. In this paper, we show that the task can be solved using particle filters for both single and multiple target scenarios. The method was studied using a 3D simulation and a drone-based image segmentation sequence with global navigation satellite system (GNSS)-based camera pose estimates. The results showed that a particle filter can be used to solve practical localisation tasks based on camera poses and image segments in these situations where other solutions fail. The particle filter is independent of the detection method, making it flexible for new tasks. The study also demonstrates that drone-based wildfire monitoring can be conducted using the proposed method paired with a pre-existing image segmentation model.