Game4Loc: Ein Benchmark zur geografischen Lokalisierung von UAVs anhand von Spieldaten

Game4Loc: A UAV Geo-Localization Benchmark from Game Data

September 25, 2024

Autoren: Yuxiang Ji, Boyong He, Zhuoyue Tan, Liaoni Wu

cs.AI

Zusammenfassung

Die auf Vision basierende geolokalisierungstechnologie für UAVs, die als sekundäre Quelle von GPS-Informationen zusätzlich zu den globalen Navigationssatellitensystemen (GNSS) dient, kann immer noch unabhängig in einer GPS-freien Umgebung betrieben werden. Aktuelle auf Deep Learning basierende Methoden betrachten dies als die Aufgabe des Bildabgleichs und der Rückgewinnung. Durch die Rückgewinnung von Drohnensichtbildern in einer geotagierten Satellitenbild-Datenbank können ungefähre Lokalisierungsinformationen erhalten werden. Aufgrund hoher Kosten und Datenschutzbedenken ist es jedoch in der Regel schwierig, große Mengen von Drohnensichtbildern aus einem kontinuierlichen Gebiet zu erhalten. Bestehende Drohnensicht-Datensätze bestehen größtenteils aus Luftaufnahmen im kleinen Maßstab mit der starken Annahme, dass es ein perfekt eins-zu-eins ausgerichtetes Referenzbild für jede Abfrage gibt, was eine signifikante Lücke zum praktischen Lokalisierungsszenario hinterlässt. In dieser Arbeit erstellen wir einen großflächigen zusammenhängenden UAV-Geolokalisierungsdatensatz namens GTA-UAV, der mehrere Flughöhen, Ausrichtungen, Szenen und Ziele mithilfe moderner Computerspiele zeigt. Basierend auf diesem Datensatz führen wir eine praxisnähere UAV-Geolokalisierungsaufgabe ein, die teilweise Übereinstimmungen von kreuzweise gepaarten Daten umfasst, und erweitern die Bildrückgewinnung auf die tatsächliche Lokalisierung in Bezug auf die Entfernung (Meter). Für die Erstellung von Drohnen- und Satellitenbild-Paaren verwenden wir einen gewichtsbasierten kontrastiven Lernansatz, der ein effektives Lernen ermöglicht, während zusätzliche Nachbearbeitungsschritte vermieden werden. Experimente zeigen die Wirksamkeit unserer Daten und Trainingsmethode für die UAV-Geolokalisierung sowie die Verallgemeinerungsfähigkeiten auf reale Szenarien.

English

The vision-based geo-localization technology for UAV, serving as a secondary source of GPS information in addition to the global navigation satellite systems (GNSS), can still operate independently in the GPS-denied environment. Recent deep learning based methods attribute this as the task of image matching and retrieval. By retrieving drone-view images in geo-tagged satellite image database, approximate localization information can be obtained. However, due to high costs and privacy concerns, it is usually difficult to obtain large quantities of drone-view images from a continuous area. Existing drone-view datasets are mostly composed of small-scale aerial photography with a strong assumption that there exists a perfect one-to-one aligned reference image for any query, leaving a significant gap from the practical localization scenario. In this work, we construct a large-range contiguous area UAV geo-localization dataset named GTA-UAV, featuring multiple flight altitudes, attitudes, scenes, and targets using modern computer games. Based on this dataset, we introduce a more practical UAV geo-localization task including partial matches of cross-view paired data, and expand the image-level retrieval to the actual localization in terms of distance (meters). For the construction of drone-view and satellite-view pairs, we adopt a weight-based contrastive learning approach, which allows for effective learning while avoiding additional post-processing matching steps. Experiments demonstrate the effectiveness of our data and training method for UAV geo-localization, as well as the generalization capabilities to real-world scenarios.