Game4Loc : Un banc d'essai de géolocalisation UAV à partir de données de jeu

Game4Loc: A UAV Geo-Localization Benchmark from Game Data

September 25, 2024

Auteurs: Yuxiang Ji, Boyong He, Zhuoyue Tan, Liaoni Wu

cs.AI

Résumé

La technologie de géolocalisation basée sur la vision pour les UAV, servant de source secondaire d'informations GPS en plus des systèmes mondiaux de navigation par satellite (GNSS), peut encore fonctionner de manière indépendante dans un environnement sans GPS. Les méthodes récentes basées sur l'apprentissage profond attribuent cette tâche à la correspondance et à la recherche d'images. En récupérant des images de vue de drone dans une base de données d'images satellites géo-étiquetées, des informations de localisation approximatives peuvent être obtenues. Cependant, en raison des coûts élevés et des préoccupations en matière de confidentialité, il est généralement difficile d'obtenir de grandes quantités d'images de vue de drone d'une zone continue. Les ensembles de données de vue de drone existants sont principalement composés de photographies aériennes à petite échelle avec une forte hypothèse selon laquelle il existe une image de référence parfaitement alignée pour toute requête, laissant un écart significatif par rapport au scénario de localisation pratique. Dans ce travail, nous construisons un ensemble de données de géolocalisation UAV à grande portée et contiguë nommé GTA-UAV, présentant plusieurs altitudes de vol, attitudes, scènes et cibles en utilisant des jeux vidéo modernes. Sur la base de cet ensemble de données, nous introduisons une tâche de géolocalisation UAV plus pratique comprenant des correspondances partielles de données appariées entre vues croisées, et étendons la recherche au niveau de l'image à la localisation réelle en termes de distance (mètres). Pour la construction de paires de vues de drone et de vues satellites, nous adoptons une approche d'apprentissage contrastif basé sur le poids, qui permet un apprentissage efficace tout en évitant des étapes supplémentaires de correspondance post-traitement. Les expériences démontrent l'efficacité de nos données et de notre méthode d'entraînement pour la géolocalisation UAV, ainsi que les capacités de généralisation aux scénarios du monde réel.

English

The vision-based geo-localization technology for UAV, serving as a secondary source of GPS information in addition to the global navigation satellite systems (GNSS), can still operate independently in the GPS-denied environment. Recent deep learning based methods attribute this as the task of image matching and retrieval. By retrieving drone-view images in geo-tagged satellite image database, approximate localization information can be obtained. However, due to high costs and privacy concerns, it is usually difficult to obtain large quantities of drone-view images from a continuous area. Existing drone-view datasets are mostly composed of small-scale aerial photography with a strong assumption that there exists a perfect one-to-one aligned reference image for any query, leaving a significant gap from the practical localization scenario. In this work, we construct a large-range contiguous area UAV geo-localization dataset named GTA-UAV, featuring multiple flight altitudes, attitudes, scenes, and targets using modern computer games. Based on this dataset, we introduce a more practical UAV geo-localization task including partial matches of cross-view paired data, and expand the image-level retrieval to the actual localization in terms of distance (meters). For the construction of drone-view and satellite-view pairs, we adopt a weight-based contrastive learning approach, which allows for effective learning while avoiding additional post-processing matching steps. Experiments demonstrate the effectiveness of our data and training method for UAV geo-localization, as well as the generalization capabilities to real-world scenarios.