SAM à Vocabulaire Ouvert : Segmentation et Reconnaissance Interactive de Vingt Mille Classes

Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

January 5, 2024

Auteurs: Haobo Yuan, Xiangtai Li, Chong Zhou, Yining Li, Kai Chen, Chen Change Loy

cs.AI

Résumé

Le modèle CLIP et le modèle Segment Anything (SAM) sont des modèles de base vision (VFMs) remarquables. SAM excelle dans les tâches de segmentation à travers divers domaines, tandis que CLIP est reconnu pour ses capacités de reconnaissance en zéro-shot. Cet article présente une exploration approfondie de l'intégration de ces deux modèles dans un cadre unifié. Plus précisément, nous introduisons le modèle Open-Vocabulary SAM, un modèle inspiré de SAM conçu pour la segmentation interactive et la reconnaissance simultanées, en exploitant deux modules uniques de transfert de connaissances : SAM2CLIP et CLIP2SAM. Le premier adapte les connaissances de SAM dans CLIP via la distillation et des adaptateurs de transformateurs apprenables, tandis que le second transfère les connaissances de CLIP dans SAM, améliorant ainsi ses capacités de reconnaissance. Des expériences approfondies sur divers ensembles de données et détecteurs montrent l'efficacité d'Open-Vocabulary SAM dans les tâches de segmentation et de reconnaissance, surpassant significativement les bases de référence naïves consistant simplement à combiner SAM et CLIP. De plus, avec l'aide d'un entraînement sur des données de classification d'images, notre méthode peut segmenter et reconnaître environ 22 000 classes.

English

The CLIP and Segment Anything Model (SAM) are remarkable vision foundation models (VFMs). SAM excels in segmentation tasks across diverse domains, while CLIP is renowned for its zero-shot recognition capabilities. This paper presents an in-depth exploration of integrating these two models into a unified framework. Specifically, we introduce the Open-Vocabulary SAM, a SAM-inspired model designed for simultaneous interactive segmentation and recognition, leveraging two unique knowledge transfer modules: SAM2CLIP and CLIP2SAM. The former adapts SAM's knowledge into the CLIP via distillation and learnable transformer adapters, while the latter transfers CLIP knowledge into SAM, enhancing its recognition capabilities. Extensive experiments on various datasets and detectors show the effectiveness of Open-Vocabulary SAM in both segmentation and recognition tasks, significantly outperforming the naive baselines of simply combining SAM and CLIP. Furthermore, aided with image classification data training, our method can segment and recognize approximately 22,000 classes.