応用地球観測のための合成画像検索のベンチマーキング

要旨

リモートセンシング合成画像検索（RSCIR）は、参照画像とテキスト修飾語を組み合わせた合成クエリを用いて、大規模な衛星画像アーカイブ内での検索を可能にする。RSCIRは、対象を絞った検索意図を表現するための柔軟なインターフェースを提供するが、現代の合成手法の地球観測（EO）画像への転用可能性と、実運用のEOワークフローへの関連性は、まだ十分に調査されていない。我々は、統一されたベンチマークと応用指向の研究を通じて、このギャップに対処する。まず、代表的な合成画像検索手法を6つのビジョン言語バックボーンを用いてPatternCom上で体系的に適応・評価し、標準化されたプロトコルの下で、バックボーン、合成戦略、クエリタイプにわたるそれらの振る舞いを分析する。次に、xView2-CIRを導入する。これは災害・被害監視のための変化中心データセットであり、検索はシーン同一性と目標の災害後状態に条件付けられる。我々の結果は、学習不要の合成手法がEO検索に対して強力かつスケーラブルなベースラインを提供する一方、変化中心検索は属性ベース検索とは異なる課題、特にシーン同一性を保持する必要性に起因する課題を呈することを示している。全体として、本研究はRSCIRの実用的なベンチマークを確立し、合成検索をリモートセンシング画像検索、アーカイブ探索、変化解析のための補完的ツールとして位置づける。データセットとコードは https://github.com/billpsomas/rscir で入手可能である。

English

Remote sensing composed image retrieval (RSCIR) enables search in large satellite image archives using composed queries that combine a reference image with a textual modifier. Although RSCIR offers a flexible interface for expressing targeted retrieval intent, the transferability of modern composition methods to Earth observation (EO) imagery and their relevance to operational EO workflows remain underexplored. We address this gap through a unified benchmark and an application-oriented study. First, we systematically adapt and evaluate representative composed image retrieval methods with six vision-language backbones on PatternCom under a standardized protocol, analyzing their behavior across backbones, composition strategies, and query types. Second, we introduce xView2-CIR, a change-centric dataset for disaster and damage monitoring, where retrieval is conditioned on scene identity and a target post-event state. Our results show that training-free composition methods provide strong and scalable baselines for EO retrieval, while change-centric retrieval presents different challenges from attribute-based retrieval, particularly due to the need to preserve scene identity. Overall, this study establishes a practical benchmark for RSCIR and positions composed retrieval as a complementary tool for remote sensing image retrieval, archive exploration, and change analysis. The dataset and code are available at https://github.com/billpsomas/rscir.