SegEarth-OV3: Exploración de SAM 3 para Segmentación Semántica de Vocabulario Abierto en Imágenes de Teledetección
SegEarth-OV3: Exploring SAM 3 for Open-Vocabulary Semantic Segmentation in Remote Sensing Images
December 9, 2025
Autores: Kaiyu Li, Shengqi Zhang, Yupeng Deng, Zhi Wang, Deyu Meng, Xiangyong Cao
cs.AI
Resumen
La mayoría de los métodos existentes para la Segmentación Semántica de Vocabulario Abierto (OVSS) sin entrenamiento se basan en CLIP. Si bien estos enfoques han logrado avances, a menudo enfrentan desafíos en la localización precisa o requieren pipelines complejos para combinar módulos separados, especialmente en escenarios de teledetección donde existen numerosos objetivos densos y pequeños. Recientemente, se propuso el Segment Anything Model 3 (SAM 3), que unifica la segmentación y el reconocimiento en un marco promptable. En este artículo, presentamos una exploración preliminar de la aplicación de SAM 3 a la tarea de OVSS en teledetección sin ningún entrenamiento. Primero, implementamos una estrategia de fusión de máscaras que combina las salidas de la cabecera de segmentación semántrica de SAM 3 y del decodificador Transformer (cabecera de instancias). Esto nos permite aprovechar las fortalezas de ambas cabeceras para una mejor cobertura del terreno. En segundo lugar, utilizamos la puntuación de presencia de la cabecera de presencia para filtrar categorías que no existen en la escena, reduciendo los falsos positivos causados por los grandes tamaños de vocabulario y el procesamiento a nivel de parche en escenas geoespaciales. Evaluamos nuestro método en extensos conjuntos de datos de teledetección. Los experimentos muestran que esta simple adaptación logra un rendimiento prometedor, demostrando el potencial de SAM 3 para OVSS en teledetección. Nuestro código está disponible en https://github.com/earth-insights/SegEarth-OV-3.
English
Most existing methods for training-free Open-Vocabulary Semantic Segmentation (OVSS) are based on CLIP. While these approaches have made progress, they often face challenges in precise localization or require complex pipelines to combine separate modules, especially in remote sensing scenarios where numerous dense and small targets are present. Recently, Segment Anything Model 3 (SAM 3) was proposed, unifying segmentation and recognition in a promptable framework. In this paper, we present a preliminary exploration of applying SAM 3 to the remote sensing OVSS task without any training. First, we implement a mask fusion strategy that combines the outputs from SAM 3's semantic segmentation head and the Transformer decoder (instance head). This allows us to leverage the strengths of both heads for better land coverage. Second, we utilize the presence score from the presence head to filter out categories that do not exist in the scene, reducing false positives caused by the vast vocabulary sizes and patch-level processing in geospatial scenes. We evaluate our method on extensive remote sensing datasets. Experiments show that this simple adaptation achieves promising performance, demonstrating the potential of SAM 3 for remote sensing OVSS. Our code is released at https://github.com/earth-insights/SegEarth-OV-3.