Game4Loc: Een benchmark voor UAV geolokalisatie gebaseerd op game data

Game4Loc: A UAV Geo-Localization Benchmark from Game Data

September 25, 2024

Auteurs: Yuxiang Ji, Boyong He, Zhuoyue Tan, Liaoni Wu

cs.AI

Samenvatting

De op visie gebaseerde geo-localisatietechnologie voor UAV's, die dient als een secundaire bron van GPS-informatie naast de wereldwijde navigatiesatellietsystemen (GNSS), kan nog steeds zelfstandig opereren in een GPS-ontzegde omgeving. Recente op diep leren gebaseerde methoden beschouwen dit als de taak van beeldovereenkomst en -terugvinding. Door drone-beeldmateriaal op te halen in een geo-getagde satellietbeeldendatabase, kan bij benadering lokaliseringsinformatie worden verkregen. Vanwege hoge kosten en privacyzorgen is het echter meestal moeilijk om grote hoeveelheden drone-beeldmateriaal van een aaneengesloten gebied te verkrijgen. Bestaande drone-beelddatasets bestaan voornamelijk uit kleinschalige luchtfotografie met de sterke veronderstelling dat er voor elke zoekopdracht een perfect één-op-één uitgelijnd referentiebeeld bestaat, wat een aanzienlijke kloof laat in de praktische lokaliseringsscenario's. In dit werk construeren we een groot bereik aaneengesloten UAV geo-localisatiedataset genaamd GTA-UAV, met meerdere vluchthoogtes, attitudes, scènes en doelen met behulp van moderne computerspellen. Op basis van deze dataset introduceren we een meer praktische UAV geo-localisatietoepassing, inclusief gedeeltelijke overeenkomsten van gekoppelde gegevens van verschillende gezichtspunten, en breiden we de beeldniveau-terugvinding uit naar de daadwerkelijke lokaliseringsafstand (in meters). Voor de constructie van drone-beeld- en satelliet-beeldparen hanteren we een op gewicht gebaseerde contrastieve leermethode, die effectief leren mogelijk maakt en extra post-verwerkingsstappen voor overeenkomst vermijdt. Experimenten tonen de effectiviteit aan van onze gegevens- en trainingsmethode voor UAV geo-localisatie, evenals de generalisatiecapaciteiten naar real-world scenario's.

English

The vision-based geo-localization technology for UAV, serving as a secondary source of GPS information in addition to the global navigation satellite systems (GNSS), can still operate independently in the GPS-denied environment. Recent deep learning based methods attribute this as the task of image matching and retrieval. By retrieving drone-view images in geo-tagged satellite image database, approximate localization information can be obtained. However, due to high costs and privacy concerns, it is usually difficult to obtain large quantities of drone-view images from a continuous area. Existing drone-view datasets are mostly composed of small-scale aerial photography with a strong assumption that there exists a perfect one-to-one aligned reference image for any query, leaving a significant gap from the practical localization scenario. In this work, we construct a large-range contiguous area UAV geo-localization dataset named GTA-UAV, featuring multiple flight altitudes, attitudes, scenes, and targets using modern computer games. Based on this dataset, we introduce a more practical UAV geo-localization task including partial matches of cross-view paired data, and expand the image-level retrieval to the actual localization in terms of distance (meters). For the construction of drone-view and satellite-view pairs, we adopt a weight-based contrastive learning approach, which allows for effective learning while avoiding additional post-processing matching steps. Experiments demonstrate the effectiveness of our data and training method for UAV geo-localization, as well as the generalization capabilities to real-world scenarios.