Game4Loc：ゲームデータからのUAVジオロケーションベンチマーク

Game4Loc: A UAV Geo-Localization Benchmark from Game Data

September 25, 2024

著者: Yuxiang Ji, Boyong He, Zhuoyue Tan, Liaoni Wu

cs.AI

要旨

UAVのためのビジョンベースの地理位置特定技術は、グローバルナビゲーション衛星システム（GNSS）に加えてGPS情報の副次的なソースとして機能し、GPSが利用できない環境でも独立して動作することができます。最近の深層学習ベースの手法は、これを画像のマッチングと検索の課題として捉えています。地理情報付き衛星画像データベースからドローン視点の画像を検索することで、おおまかな位置情報を取得できます。しかし、高コストやプライバシー上の懸念から、連続した領域から大量のドローン視点の画像を入手することは通常困難です。既存のドローン視点のデータセットは、ほとんどが完璧な一対一の整列した参照画像が存在するという強い前提の小規模な空中写真で構成されており、実践的な位置特定シナリオとは大きなギャップが残っています。本研究では、現代のコンピュータゲームを使用して、複数の飛行高度、姿勢、シーン、およびターゲットを特徴とする大範囲の連続した領域UAV地理位置特定データセットであるGTA-UAVを構築します。このデータセットに基づいて、部分的なクロスビューのペアデータの一致を含むより実践的なUAV地理位置特定タスクを紹介し、画像レベルの検索を実際の距離（メートル）に関して位置特定に拡張します。ドローン視点と衛星視点のペアの構築には、追加の事後処理のマッチング手順を回避しながら効果的な学習を可能にする重みベースの対照学習アプローチを採用します。実験は、UAV地理位置特定のための当社のデータとトレーニング手法の効果、および現実世界のシナリオへの一般化能力を示しています。

English

The vision-based geo-localization technology for UAV, serving as a secondary source of GPS information in addition to the global navigation satellite systems (GNSS), can still operate independently in the GPS-denied environment. Recent deep learning based methods attribute this as the task of image matching and retrieval. By retrieving drone-view images in geo-tagged satellite image database, approximate localization information can be obtained. However, due to high costs and privacy concerns, it is usually difficult to obtain large quantities of drone-view images from a continuous area. Existing drone-view datasets are mostly composed of small-scale aerial photography with a strong assumption that there exists a perfect one-to-one aligned reference image for any query, leaving a significant gap from the practical localization scenario. In this work, we construct a large-range contiguous area UAV geo-localization dataset named GTA-UAV, featuring multiple flight altitudes, attitudes, scenes, and targets using modern computer games. Based on this dataset, we introduce a more practical UAV geo-localization task including partial matches of cross-view paired data, and expand the image-level retrieval to the actual localization in terms of distance (meters). For the construction of drone-view and satellite-view pairs, we adopt a weight-based contrastive learning approach, which allows for effective learning while avoiding additional post-processing matching steps. Experiments demonstrate the effectiveness of our data and training method for UAV geo-localization, as well as the generalization capabilities to real-world scenarios.