SegEarth-OV3: Untersuchung von SAM 3 für offene Vokabularsemantiksegmentierung in Fernerkundungsbildern
SegEarth-OV3: Exploring SAM 3 for Open-Vocabulary Semantic Segmentation in Remote Sensing Images
December 9, 2025
papers.authors: Kaiyu Li, Shengqi Zhang, Yupeng Deng, Zhi Wang, Deyu Meng, Xiangyong Cao
cs.AI
papers.abstract
Die meisten bestehenden Methoden für trainingsfreie Open-Vocabulary Semantic Segmentation (OVSS) basieren auf CLIP. Obwohl diese Ansätze Fortschritte erzielt haben, stehen sie oft vor Herausforderungen bei der präzisen Lokalisierung oder erfordern komplexe Pipelines zur Kombination separater Module, insbesondere in Fernerkundungsszenarien mit zahlreichen dichten und kleinen Objekten. Kürzlich wurde Segment Anything Model 3 (SAM 3) vorgeschlagen, das Segmentierung und Erkennung in einem promptbaren Framework vereint. In diesem Beitrag präsentieren wir eine vorläufige Untersuchung zur Anwendung von SAM 3 auf die Fernerkundungs-OVSS-Aufgabe ohne jegliches Training. Zunächst implementieren wir eine Maskenfusionsstrategie, die die Ausgaben des semantischen Segmentierungskopfs von SAM 3 und des Transformer-Decoders (Instanzen-Kopf) kombiniert. Dies ermöglicht es uns, die Stärken beider Köpfe für eine bessere Landbedeckung zu nutzen. Zweitens verwenden wir den Presence-Score des Presence-Kopfs, um Kategorien herauszufiltern, die in der Szene nicht vorhanden sind, und so falsch-positive Ergebnisse zu reduzieren, die durch die großen Vokabulargrößen und patch-basierte Verarbeitung in georäumlichen Szenen verursacht werden. Wir evaluieren unsere Methode auf umfangreichen Fernerkundungsdatensätzen. Experimente zeigen, dass diese einfache Anpassung vielversprechende Leistung erzielt und das Potenzial von SAM 3 für die Fernerkundungs-OVSS demonstriert. Unser Code ist unter https://github.com/earth-insights/SegEarth-OV-3 verfügbar.
English
Most existing methods for training-free Open-Vocabulary Semantic Segmentation (OVSS) are based on CLIP. While these approaches have made progress, they often face challenges in precise localization or require complex pipelines to combine separate modules, especially in remote sensing scenarios where numerous dense and small targets are present. Recently, Segment Anything Model 3 (SAM 3) was proposed, unifying segmentation and recognition in a promptable framework. In this paper, we present a preliminary exploration of applying SAM 3 to the remote sensing OVSS task without any training. First, we implement a mask fusion strategy that combines the outputs from SAM 3's semantic segmentation head and the Transformer decoder (instance head). This allows us to leverage the strengths of both heads for better land coverage. Second, we utilize the presence score from the presence head to filter out categories that do not exist in the scene, reducing false positives caused by the vast vocabulary sizes and patch-level processing in geospatial scenes. We evaluate our method on extensive remote sensing datasets. Experiments show that this simple adaptation achieves promising performance, demonstrating the potential of SAM 3 for remote sensing OVSS. Our code is released at https://github.com/earth-insights/SegEarth-OV-3.