Game4Loc: Бенчмарк геолокации БПЛА по данным игры

Game4Loc: A UAV Geo-Localization Benchmark from Game Data

September 25, 2024

Авторы: Yuxiang Ji, Boyong He, Zhuoyue Tan, Liaoni Wu

cs.AI

Аннотация

Технология геолокации на основе компьютерного зрения для БПЛА, дополняющая глобальные спутниковые системы навигации (ГНСС) в качестве вторичного источника информации GPS, способна функционировать независимо в условиях отсутствия сигнала GPS. Недавние методы на основе глубокого обучения рассматривают это как задачу сопоставления и поиска изображений. Путем извлечения изображений с видом с дрона из геомаркированной базы изображений спутников можно получить приблизительную информацию о локализации. Однако из-за высоких затрат и проблем с конфиденциальностью обычно сложно получить большие объемы изображений с видом с дрона из непрерывной области. Существующие наборы данных с видом с дрона в основном состоят из маломасштабной аэрофотосъемки с предположением о наличии идеального однозначно сопоставленного эталонного изображения для любого запроса, что оставляет значительный разрыв относительно практического сценария локализации. В данной работе мы создаем крупномасштабный набор данных для геолокации БПЛА в непрерывной области под названием GTA-UAV, включающий различные высоты, углы наклона, сцены и цели с использованием современных компьютерных игр. На основе этого набора данных мы представляем более практическую задачу геолокации БПЛА, включающую частичные совпадения кросс-видовых парных данных, и расширяем поиск на уровне изображения до фактической локализации в метрах. Для создания пар изображений с видом с дрона и видом со спутника мы используем подход на основе контрастного обучения с весами, что позволяет эффективно обучаться, избегая дополнительных шагов по сопоставлению после обработки. Эксперименты демонстрируют эффективность наших данных и метода обучения для геолокации БПЛА, а также их способность к обобщению на реальные сценарии.

English

The vision-based geo-localization technology for UAV, serving as a secondary source of GPS information in addition to the global navigation satellite systems (GNSS), can still operate independently in the GPS-denied environment. Recent deep learning based methods attribute this as the task of image matching and retrieval. By retrieving drone-view images in geo-tagged satellite image database, approximate localization information can be obtained. However, due to high costs and privacy concerns, it is usually difficult to obtain large quantities of drone-view images from a continuous area. Existing drone-view datasets are mostly composed of small-scale aerial photography with a strong assumption that there exists a perfect one-to-one aligned reference image for any query, leaving a significant gap from the practical localization scenario. In this work, we construct a large-range contiguous area UAV geo-localization dataset named GTA-UAV, featuring multiple flight altitudes, attitudes, scenes, and targets using modern computer games. Based on this dataset, we introduce a more practical UAV geo-localization task including partial matches of cross-view paired data, and expand the image-level retrieval to the actual localization in terms of distance (meters). For the construction of drone-view and satellite-view pairs, we adopt a weight-based contrastive learning approach, which allows for effective learning while avoiding additional post-processing matching steps. Experiments demonstrate the effectiveness of our data and training method for UAV geo-localization, as well as the generalization capabilities to real-world scenarios.