SegEarth-OV3: Исследование SAM 3 для открытого семантического сегментирования на спутниковых снимках
SegEarth-OV3: Exploring SAM 3 for Open-Vocabulary Semantic Segmentation in Remote Sensing Images
December 9, 2025
Авторы: Kaiyu Li, Shengqi Zhang, Yupeng Deng, Zhi Wang, Deyu Meng, Xiangyong Cao
cs.AI
Аннотация
Большинство существующих методов обучения без тренировки для открытой семантической сегментации (OVSS) основаны на CLIP. Несмотря на прогресс, эти подходы часто сталкиваются с проблемами точной локализации или требуют сложных конвейеров для объединения отдельных модулей, особенно в сценариях дистанционного зондирования, где присутствуют многочисленные плотные и мелкие объекты. Недавно была предложена модель Segment Anything Model 3 (SAM 3), унифицирующая сегментацию и распознавание в рамках промптируемой архитектуры. В данной статье представлено предварительное исследование применения SAM 3 к задаче OVSS в дистанционном зондировании без какого-либо обучения. Во-первых, мы реализуем стратегию слияния масок, комбинирующую выходы семантической головы сегментации SAM 3 и трансформерного декодера (инстанс-головы). Это позволяет использовать преимущества обеих голов для лучшего покрытия земной поверхности. Во-вторых, мы используем показатель присутствия из presence-головы для фильтрации категорий, отсутствующих на сцене, снижая ложные срабатывания, вызванные большим размером словаря и покомпонентной обработкой в геопространственных сценах. Мы оцениваем наш метод на обширных наборах данных дистанционного зондирования. Эксперименты показывают, что такая простая адаптация демонстрирует многообещающую производительность, подтверждая потенциал SAM 3 для OVSS в дистанционном зондировании. Наш код доступен по адресу https://github.com/earth-insights/SegEarth-OV-3.
English
Most existing methods for training-free Open-Vocabulary Semantic Segmentation (OVSS) are based on CLIP. While these approaches have made progress, they often face challenges in precise localization or require complex pipelines to combine separate modules, especially in remote sensing scenarios where numerous dense and small targets are present. Recently, Segment Anything Model 3 (SAM 3) was proposed, unifying segmentation and recognition in a promptable framework. In this paper, we present a preliminary exploration of applying SAM 3 to the remote sensing OVSS task without any training. First, we implement a mask fusion strategy that combines the outputs from SAM 3's semantic segmentation head and the Transformer decoder (instance head). This allows us to leverage the strengths of both heads for better land coverage. Second, we utilize the presence score from the presence head to filter out categories that do not exist in the scene, reducing false positives caused by the vast vocabulary sizes and patch-level processing in geospatial scenes. We evaluate our method on extensive remote sensing datasets. Experiments show that this simple adaptation achieves promising performance, demonstrating the potential of SAM 3 for remote sensing OVSS. Our code is released at https://github.com/earth-insights/SegEarth-OV-3.