Open-Vocabulary SAM: Segmentazione e Riconoscimento Interattivo di Ventimila Classi

Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

January 5, 2024

Autori: Haobo Yuan, Xiangtai Li, Chong Zhou, Yining Li, Kai Chen, Chen Change Loy

cs.AI

Abstract

CLIP e Segment Anything Model (SAM) sono modelli di base per la visione (VFMs) di notevole importanza. SAM eccelle in compiti di segmentazione in diversi domini, mentre CLIP è rinomato per le sue capacità di riconoscimento zero-shot. Questo articolo presenta un'esplorazione approfondita dell'integrazione di questi due modelli in un framework unificato. Nello specifico, introduciamo Open-Vocabulary SAM, un modello ispirato a SAM progettato per la segmentazione interattiva e il riconoscimento simultanei, sfruttando due moduli unici di trasferimento della conoscenza: SAM2CLIP e CLIP2SAM. Il primo adatta la conoscenza di SAM in CLIP tramite distillazione e adattatori trasformatori apprendibili, mentre il secondo trasferisce la conoscenza di CLIP in SAM, potenziando le sue capacità di riconoscimento. Esperimenti estesi su vari dataset e rilevatori dimostrano l'efficacia di Open-Vocabulary SAM sia nei compiti di segmentazione che di riconoscimento, superando significativamente i baseline semplici che combinano SAM e CLIP. Inoltre, con l'ausilio di dati di addestramento per la classificazione delle immagini, il nostro metodo è in grado di segmentare e riconoscere circa 22.000 classi.

English

The CLIP and Segment Anything Model (SAM) are remarkable vision foundation models (VFMs). SAM excels in segmentation tasks across diverse domains, while CLIP is renowned for its zero-shot recognition capabilities. This paper presents an in-depth exploration of integrating these two models into a unified framework. Specifically, we introduce the Open-Vocabulary SAM, a SAM-inspired model designed for simultaneous interactive segmentation and recognition, leveraging two unique knowledge transfer modules: SAM2CLIP and CLIP2SAM. The former adapts SAM's knowledge into the CLIP via distillation and learnable transformer adapters, while the latter transfers CLIP knowledge into SAM, enhancing its recognition capabilities. Extensive experiments on various datasets and detectors show the effectiveness of Open-Vocabulary SAM in both segmentation and recognition tasks, significantly outperforming the naive baselines of simply combining SAM and CLIP. Furthermore, aided with image classification data training, our method can segment and recognize approximately 22,000 classes.