Game4Loc: un benchmark di geo-localizzazione UAV dai dati di gioco

Game4Loc: A UAV Geo-Localization Benchmark from Game Data

September 25, 2024

Autori: Yuxiang Ji, Boyong He, Zhuoyue Tan, Liaoni Wu

cs.AI

Abstract

La tecnologia di geo-localizzazione basata sulla visione per UAV, che funge da fonte secondaria di informazioni GPS oltre ai sistemi globali di navigazione satellitare (GNSS), può comunque operare in modo indipendente in un ambiente privo di segnale GPS. Metodi recenti basati sull'apprendimento profondo attribuiscono questa funzione al compito di corrispondenza e recupero delle immagini. Recuperando immagini della visuale del drone nel database di immagini satellitari geotaggate, è possibile ottenere informazioni di localizzazione approssimative. Tuttavia, a causa dei costi elevati e delle preoccupazioni sulla privacy, è generalmente difficile ottenere grandi quantità di immagini della visuale del drone da un'area continua. I dataset esistenti della visuale del drone sono per lo più composti da fotografie aeree su piccola scala con l'assunzione che esista un'immagine di riferimento perfettamente allineata uno-a-uno per ogni interrogazione, lasciando un divario significativo rispetto allo scenario di localizzazione pratico. In questo lavoro, costruiamo un dataset di geo-localizzazione UAV di ampia portata e continua chiamato GTA-UAV, che presenta molteplici altitudini di volo, atteggiamenti, scenari e obiettivi utilizzando moderni videogiochi. Basandoci su questo dataset, introduciamo un compito di geo-localizzazione UAV più pratico che include corrispondenze parziali di dati accoppiati tra viste incrociate, ed espandiamo il recupero a livello di immagine alla localizzazione effettiva in termini di distanza (metri). Per la costruzione di coppie di immagini della visuale del drone e della visuale satellitare, adottiamo un approccio di apprendimento contrastivo basato sul peso, che consente un apprendimento efficace evitando passaggi aggiuntivi di corrispondenza post-elaborazione. Gli esperimenti dimostrano l'efficacia dei nostri dati e del nostro metodo di addestramento per la geo-localizzazione UAV, nonché le capacità di generalizzazione agli scenari del mondo reale.

English

The vision-based geo-localization technology for UAV, serving as a secondary source of GPS information in addition to the global navigation satellite systems (GNSS), can still operate independently in the GPS-denied environment. Recent deep learning based methods attribute this as the task of image matching and retrieval. By retrieving drone-view images in geo-tagged satellite image database, approximate localization information can be obtained. However, due to high costs and privacy concerns, it is usually difficult to obtain large quantities of drone-view images from a continuous area. Existing drone-view datasets are mostly composed of small-scale aerial photography with a strong assumption that there exists a perfect one-to-one aligned reference image for any query, leaving a significant gap from the practical localization scenario. In this work, we construct a large-range contiguous area UAV geo-localization dataset named GTA-UAV, featuring multiple flight altitudes, attitudes, scenes, and targets using modern computer games. Based on this dataset, we introduce a more practical UAV geo-localization task including partial matches of cross-view paired data, and expand the image-level retrieval to the actual localization in terms of distance (meters). For the construction of drone-view and satellite-view pairs, we adopt a weight-based contrastive learning approach, which allows for effective learning while avoiding additional post-processing matching steps. Experiments demonstrate the effectiveness of our data and training method for UAV geo-localization, as well as the generalization capabilities to real-world scenarios.