逐次観測を伴う軌跡認識型クロスビュー地理的定位

要旨

クロスビュー地理的位置推定は、地上観測を地理タグ付き衛星画像と照合する手法である。近年の手法では、ビデオクリップのような逐次クエリが単一画像よりも豊かな時空間的手がかりをもたらすことが示されているが、補完的な逐次モダリティであるルート記述は見落とされている。ルート記述は同一の軌跡をより高度な抽象化レベルで捉え、しばしば唯一利用可能な入力となる（例えば、ユーザーが自動運転車を集荷地点に誘導する場合）。このギャップを埋めるため、我々はsim39Kのビデオ-テキスト-衛星三つ組データセットであるSeqGeo-VLと、ビデオクリップとルート記述の両方を処理可能な統一フレームワークTrajLocを導入する。TrajLocは密な視覚的意味論と抽象的な言語的意味論の両方を活用することで、これらのモダリティがクロスビューマッチングを相互に強化することを可能にする。さらに、クエリ埋め込みを軌跡形状に条件付ける軽量モジュールTrajModを提案し、空間認識表現を生成する。実験により、TrajLocはビデオおよびテキスト地理的位置推定の両方において最先端手法を大幅に上回ることを示す。プロジェクトページはhttps://humblegamer.github.io/trajloc/で公開されている。

English

Cross-view geo-localization matches ground-level observations against geo-tagged satellite imagery. Recent methods show that sequential queries such as video clips yield richer spatiotemporal cues than single images, yet they overlook a complementary sequential modality: route descriptions -- which capture the same trajectory at a higher level of abstraction and are often the only input available (e.g., a user directing an autonomous vehicle to a pickup point). To bridge this gap, we introduce SeqGeo-VL, a dataset of sim39K video-text-satellite triplets, and TrajLoc, a unified framework capable of processing both video clips and route descriptions. By leveraging both dense visual and abstract linguistic semantics, TrajLoc enables these modalities to mutually reinforce cross-view matching. We further propose TrajMod, a lightweight module that conditions query embeddings on trajectory geometry, yielding spatially-aware representations. Experiments show that TrajLoc achieves substantial gains over state-of-the-art methods on both video and text geo-localization. The project page is available at https://humblegamer.github.io/trajloc/.