Game4Loc: Um Benchmark de Geo-Localização de UAV a partir de Dados de Jogos

Game4Loc: A UAV Geo-Localization Benchmark from Game Data

September 25, 2024

Autores: Yuxiang Ji, Boyong He, Zhuoyue Tan, Liaoni Wu

cs.AI

Resumo

A tecnologia de geo-localização baseada em visão para UAV, atuando como uma fonte secundária de informações GPS além dos sistemas globais de navegação por satélite (GNSS), ainda pode operar de forma independente em ambientes sem sinal de GPS. Métodos recentes baseados em aprendizado profundo atribuem essa tarefa como correspondência e recuperação de imagens. Ao recuperar imagens da visão do drone em um banco de dados de imagens de satélite georreferenciadas, informações de localização aproximadas podem ser obtidas. No entanto, devido aos altos custos e preocupações com privacidade, geralmente é difícil obter grandes quantidades de imagens da visão do drone de uma área contínua. Conjuntos de dados de visão de drone existentes são principalmente compostos por fotografias aéreas em pequena escala com a forte suposição de que existe uma imagem de referência perfeitamente alinhada para qualquer consulta, deixando uma lacuna significativa em relação ao cenário prático de localização. Neste trabalho, construímos um conjunto de dados de geo-localização de UAV em uma área contígua de grande alcance chamado GTA-UAV, apresentando múltiplas altitudes de voo, atitudes, cenas e alvos usando jogos de computador modernos. Com base nesse conjunto de dados, introduzimos uma tarefa de geo-localização de UAV mais prática, incluindo correspondências parciais de dados em pares de visões cruzadas, e expandimos a recuperação de nível de imagem para a localização real em termos de distância (metros). Para a construção de pares de visão de drone e satélite, adotamos uma abordagem de aprendizado contrastivo baseado em peso, que permite uma aprendizagem eficaz evitando etapas adicionais de correspondência pós-processamento. Experimentos demonstram a eficácia de nossos dados e método de treinamento para geo-localização de UAV, bem como as capacidades de generalização para cenários do mundo real.

English

The vision-based geo-localization technology for UAV, serving as a secondary source of GPS information in addition to the global navigation satellite systems (GNSS), can still operate independently in the GPS-denied environment. Recent deep learning based methods attribute this as the task of image matching and retrieval. By retrieving drone-view images in geo-tagged satellite image database, approximate localization information can be obtained. However, due to high costs and privacy concerns, it is usually difficult to obtain large quantities of drone-view images from a continuous area. Existing drone-view datasets are mostly composed of small-scale aerial photography with a strong assumption that there exists a perfect one-to-one aligned reference image for any query, leaving a significant gap from the practical localization scenario. In this work, we construct a large-range contiguous area UAV geo-localization dataset named GTA-UAV, featuring multiple flight altitudes, attitudes, scenes, and targets using modern computer games. Based on this dataset, we introduce a more practical UAV geo-localization task including partial matches of cross-view paired data, and expand the image-level retrieval to the actual localization in terms of distance (meters). For the construction of drone-view and satellite-view pairs, we adopt a weight-based contrastive learning approach, which allows for effective learning while avoiding additional post-processing matching steps. Experiments demonstrate the effectiveness of our data and training method for UAV geo-localization, as well as the generalization capabilities to real-world scenarios.