SegEarth-OV3: Esplorazione di SAM 3 per la Segmentazione Semantica a Vocabolario Aperto in Immagini di Telerilevamento
SegEarth-OV3: Exploring SAM 3 for Open-Vocabulary Semantic Segmentation in Remote Sensing Images
December 9, 2025
Autori: Kaiyu Li, Shengqi Zhang, Yupeng Deng, Zhi Wang, Deyu Meng, Xiangyong Cao
cs.AI
Abstract
La maggior parte dei metodi esistenti per la Segmentazione Semantica Open-Vocabulary (OVSS) senza addestramento si basa su CLIP. Sebbene questi approcci abbiano fatto progressi, spesso affrontano sfide nella localizzazione precisa o richiedono pipeline complesse per combinare moduli separati, specialmente negli scenari di telerilevamento dove sono presenti numerosi target densi e di piccole dimensioni. Recentemente è stato proposto Segment Anything Model 3 (SAM 3), che unifica la segmentazione e il riconoscimento in un framework promptable. In questo articolo, presentiamo un'esplorazione preliminare dell'applicazione di SAM 3 al task OVSS per il telerilevamento senza alcun addestramento. In primo luogo, implementiamo una strategia di fusione delle maschere che combina gli output del modulo di segmentazione semantica di SAM 3 e del decoder del Transformer (testa d'istanza). Questo ci permette di sfruttare i punti di forza di entrambe le teste per una migliore copertura del territorio. In secondo luogo, utilizziamo il punteggio di presenza dalla presenza head per filtrare le categorie che non esistono nella scena, riducendo i falsi positivi causati dalle vaste dimensioni del vocabolario e dall'elaborazione a livello di patch nelle scene geospaziali. Valutiamo il nostro metodo su estesi dataset di telerilevamento. Gli esperimenti mostrano che questo semplice adattamento raggiunge prestazioni promettenti, dimostrando il potenziale di SAM 3 per l'OVSS nel telerilevamento. Il nostro codice è rilasciato all'indirizzo https://github.com/earth-insights/SegEarth-OV-3.
English
Most existing methods for training-free Open-Vocabulary Semantic Segmentation (OVSS) are based on CLIP. While these approaches have made progress, they often face challenges in precise localization or require complex pipelines to combine separate modules, especially in remote sensing scenarios where numerous dense and small targets are present. Recently, Segment Anything Model 3 (SAM 3) was proposed, unifying segmentation and recognition in a promptable framework. In this paper, we present a preliminary exploration of applying SAM 3 to the remote sensing OVSS task without any training. First, we implement a mask fusion strategy that combines the outputs from SAM 3's semantic segmentation head and the Transformer decoder (instance head). This allows us to leverage the strengths of both heads for better land coverage. Second, we utilize the presence score from the presence head to filter out categories that do not exist in the scene, reducing false positives caused by the vast vocabulary sizes and patch-level processing in geospatial scenes. We evaluate our method on extensive remote sensing datasets. Experiments show that this simple adaptation achieves promising performance, demonstrating the potential of SAM 3 for remote sensing OVSS. Our code is released at https://github.com/earth-insights/SegEarth-OV-3.