Open-Vocabulary SAM: Segmentiere und erkenne zwanzigtausend Klassen interaktiv

Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

January 5, 2024

Autoren: Haobo Yuan, Xiangtai Li, Chong Zhou, Yining Li, Kai Chen, Chen Change Loy

cs.AI

Zusammenfassung

CLIP und das Segment Anything Model (SAM) sind bemerkenswerte Vision Foundation Models (VFMs). SAM zeichnet sich durch seine Fähigkeiten in Segmentierungsaufgaben über verschiedene Domänen hinweg aus, während CLIP für seine Zero-Shot-Erkennungsfähigkeiten bekannt ist. Dieses Papier bietet eine detaillierte Untersuchung der Integration dieser beiden Modelle in ein einheitliches Framework. Insbesondere stellen wir das Open-Vocabulary SAM vor, ein von SAM inspiriertes Modell, das für gleichzeitige interaktive Segmentierung und Erkennung entwickelt wurde und zwei einzigartige Wissenstransfermodule nutzt: SAM2CLIP und CLIP2SAM. Ersteres passt das Wissen von SAM an CLIP durch Destillation und lernbare Transformer-Adapter an, während Letzteres das Wissen von CLIP in SAM überträgt und dessen Erkennungsfähigkeiten verbessert. Umfangreiche Experimente auf verschiedenen Datensätzen und mit verschiedenen Detektoren zeigen die Wirksamkeit von Open-Vocabulary SAM sowohl in Segmentierungs- als auch in Erkennungsaufgaben, wobei es die naiven Baselines der einfachen Kombination von SAM und CLIP deutlich übertrifft. Darüber hinaus kann unsere Methode, unterstützt durch das Training mit Bildklassifizierungsdaten, etwa 22.000 Klassen segmentieren und erkennen.

English

The CLIP and Segment Anything Model (SAM) are remarkable vision foundation models (VFMs). SAM excels in segmentation tasks across diverse domains, while CLIP is renowned for its zero-shot recognition capabilities. This paper presents an in-depth exploration of integrating these two models into a unified framework. Specifically, we introduce the Open-Vocabulary SAM, a SAM-inspired model designed for simultaneous interactive segmentation and recognition, leveraging two unique knowledge transfer modules: SAM2CLIP and CLIP2SAM. The former adapts SAM's knowledge into the CLIP via distillation and learnable transformer adapters, while the latter transfers CLIP knowledge into SAM, enhancing its recognition capabilities. Extensive experiments on various datasets and detectors show the effectiveness of Open-Vocabulary SAM in both segmentation and recognition tasks, significantly outperforming the naive baselines of simply combining SAM and CLIP. Furthermore, aided with image classification data training, our method can segment and recognize approximately 22,000 classes.