Open-Vocabulary SAM: Segmenteer en Herken Twintigduizend Klassen Interactief

Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

January 5, 2024

Auteurs: Haobo Yuan, Xiangtai Li, Chong Zhou, Yining Li, Kai Chen, Chen Change Loy

cs.AI

Samenvatting

De CLIP en Segment Anything Model (SAM) zijn opmerkelijke visuele basis modellen (VFMs). SAM blinkt uit in segmentatietaken over diverse domeinen, terwijl CLIP bekend staat om zijn zero-shot herkenningsmogelijkheden. Dit artikel presenteert een diepgaande verkenning van de integratie van deze twee modellen in een geünificeerd raamwerk. Specifiek introduceren we de Open-Vocabulary SAM, een SAM-geïnspireerd model ontworpen voor gelijktijdige interactieve segmentatie en herkenning, waarbij gebruik wordt gemaakt van twee unieke kennisoverdrachtsmodules: SAM2CLIP en CLIP2SAM. De eerste past de kennis van SAM aan in CLIP via distillatie en leerbare transformatoradapters, terwijl de laatste de kennis van CLIP overbrengt naar SAM, waardoor de herkenningsmogelijkheden worden verbeterd. Uitgebreide experimenten op verschillende datasets en detectoren tonen de effectiviteit van Open-Vocabulary SAM aan in zowel segmentatie- als herkenningstaken, waarbij het significant beter presteert dan de naïeve baselines van een eenvoudige combinatie van SAM en CLIP. Bovendien kan onze methode, ondersteund door training met beeldclassificatiegegevens, ongeveer 22.000 klassen segmenteren en herkennen.

English

The CLIP and Segment Anything Model (SAM) are remarkable vision foundation models (VFMs). SAM excels in segmentation tasks across diverse domains, while CLIP is renowned for its zero-shot recognition capabilities. This paper presents an in-depth exploration of integrating these two models into a unified framework. Specifically, we introduce the Open-Vocabulary SAM, a SAM-inspired model designed for simultaneous interactive segmentation and recognition, leveraging two unique knowledge transfer modules: SAM2CLIP and CLIP2SAM. The former adapts SAM's knowledge into the CLIP via distillation and learnable transformer adapters, while the latter transfers CLIP knowledge into SAM, enhancing its recognition capabilities. Extensive experiments on various datasets and detectors show the effectiveness of Open-Vocabulary SAM in both segmentation and recognition tasks, significantly outperforming the naive baselines of simply combining SAM and CLIP. Furthermore, aided with image classification data training, our method can segment and recognize approximately 22,000 classes.