순차적 관측을 활용한 궤적 인식 교차 시점 지리적 위치 추정

초록

교차 시각 지리적 위치 추정은 지상 관측 결과를 지리 태깅된 위성 이미지와 정합한다. 최근 방법들은 비디오 클립과 같은 순차적 질의가 단일 이미지보다 더 풍부한 시공간적 단서를 제공함을 보여주지만, 이들은 보완적인 순차적 모달리티인 경로 설명을 간과한다. 경로 설명은 동일한 궤적을 더 높은 수준의 추상성으로 포착하며, 종종 유일한 입력으로 사용된다(예: 사용자가 자율 주행 차량을 픽업 지점으로 안내하는 경우). 이러한 격차를 해소하기 위해, 우리는 sim39K 비디오-텍스트-위성 삼중항 데이터셋인 SeqGeo-VL과 비디오 클립과 경로 설명을 모두 처리할 수 있는 통합 프레임워크인 TrajLoc을 도입한다. TrajLoc은 밀집된 시각적 의미와 추상적 언어적 의미를 활용하여 이러한 모달리티들이 교차 시각 정합을 상호 강화하도록 한다. 나아가, 쿼리 임베딩을 궤적 기하학에 조건화하여 공간 인식 표현을 생성하는 경량 모듈인 TrajMod를 제안한다. 실험 결과, TrajLoc은 비디오 및 텍스트 지리적 위치 추정 모두에서 최신 방법론 대비 상당한 성능 향상을 달성함을 보여준다. 프로젝트 페이지는 https://humblegamer.github.io/trajloc/ 에서 확인할 수 있다.

English

Cross-view geo-localization matches ground-level observations against geo-tagged satellite imagery. Recent methods show that sequential queries such as video clips yield richer spatiotemporal cues than single images, yet they overlook a complementary sequential modality: route descriptions -- which capture the same trajectory at a higher level of abstraction and are often the only input available (e.g., a user directing an autonomous vehicle to a pickup point). To bridge this gap, we introduce SeqGeo-VL, a dataset of sim39K video-text-satellite triplets, and TrajLoc, a unified framework capable of processing both video clips and route descriptions. By leveraging both dense visual and abstract linguistic semantics, TrajLoc enables these modalities to mutually reinforce cross-view matching. We further propose TrajMod, a lightweight module that conditions query embeddings on trajectory geometry, yielding spatially-aware representations. Experiments show that TrajLoc achieves substantial gains over state-of-the-art methods on both video and text geo-localization. The project page is available at https://humblegamer.github.io/trajloc/.