SegEarth-OV3: リモートセンシング画像におけるオープンボキャブラリー意味セグメンテーションのためのSAM 3の探求

SegEarth-OV3: Exploring SAM 3 for Open-Vocabulary Semantic Segmentation in Remote Sensing Images

December 9, 2025

著者: Kaiyu Li, Shengqi Zhang, Yupeng Deng, Zhi Wang, Deyu Meng, Xiangyong Cao

cs.AI

要旨

既存の訓練不要なオープン語彙セマンティックセグメンテーション（OVSS）手法の多くはCLIPに基づいています。これらのアプローチは進展を見せているものの、特に多数の高密度な小さな対象が存在するリモートセンシングシナリオでは、正確な位置特定に課題を抱えたり、個別のモジュールを結合するための複雑なパイプラインを必要としたりすることがよくあります。最近、Segment Anything Model 3（SAM 3）が提案され、セグメンテーションと認識をプロンプト可能なフレームワークに統合しました。本論文では、一切の訓練なしにSAM 3をリモートセンシングOVSSタスクに適用する予備的検討を提示します。まず、SAM 3のセマンティックセグメンテーションヘッドとTransformerデコーダ（インスタンスヘッド）からの出力を結合するマスク融合戦略を実装します。これにより、両ヘッドの強みを活用してより優れた土地被覆分類を実現します。第二に、プレゼンスヘッドからの存在スコアを利用してシーン内に存在しないカテゴリをフィルタリングし、地理空間シーンにおける膨大な語彙サイズとパッチ単位の処理によって引き起こされる誤検出を削減します。当手法を大規模なリモートセンシングデータセットで評価します。実験結果は、この簡素な適応が有望な性能を達成し、リモートセンシングOVSSにおけるSAM 3の可能性を実証することを示しています。コードはhttps://github.com/earth-insights/SegEarth-OV-3で公開されています。

English

Most existing methods for training-free Open-Vocabulary Semantic Segmentation (OVSS) are based on CLIP. While these approaches have made progress, they often face challenges in precise localization or require complex pipelines to combine separate modules, especially in remote sensing scenarios where numerous dense and small targets are present. Recently, Segment Anything Model 3 (SAM 3) was proposed, unifying segmentation and recognition in a promptable framework. In this paper, we present a preliminary exploration of applying SAM 3 to the remote sensing OVSS task without any training. First, we implement a mask fusion strategy that combines the outputs from SAM 3's semantic segmentation head and the Transformer decoder (instance head). This allows us to leverage the strengths of both heads for better land coverage. Second, we utilize the presence score from the presence head to filter out categories that do not exist in the scene, reducing false positives caused by the vast vocabulary sizes and patch-level processing in geospatial scenes. We evaluate our method on extensive remote sensing datasets. Experiments show that this simple adaptation achieves promising performance, demonstrating the potential of SAM 3 for remote sensing OVSS. Our code is released at https://github.com/earth-insights/SegEarth-OV-3.