Open-Vocabulary SAM: Сегментация и распознавание двадцати тысяч классов в интерактивном режиме

Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

January 5, 2024

Авторы: Haobo Yuan, Xiangtai Li, Chong Zhou, Yining Li, Kai Chen, Chen Change Loy

cs.AI

Аннотация

Модели CLIP и Segment Anything Model (SAM) являются выдающимися базовыми моделями компьютерного зрения (VFMs). SAM превосходно справляется с задачами сегментации в различных областях, в то время как CLIP известна своими возможностями распознавания без предварительного обучения (zero-shot). В данной статье представлено глубокое исследование интеграции этих двух моделей в единую структуру. В частности, мы представляем Open-Vocabulary SAM — модель, вдохновлённую SAM, предназначенную для одновременной интерактивной сегментации и распознавания, использующую два уникальных модуля передачи знаний: SAM2CLIP и CLIP2SAM. Первый адаптирует знания SAM в CLIP с помощью дистилляции и обучаемых трансформерных адаптеров, а второй передаёт знания CLIP в SAM, улучшая её способности к распознаванию. Многочисленные эксперименты на различных наборах данных и детекторах демонстрируют эффективность Open-Vocabulary SAM как в задачах сегментации, так и в задачах распознавания, значительно превосходя наивные базовые подходы, основанные на простом объединении SAM и CLIP. Более того, с использованием обучения на данных классификации изображений наш метод способен сегментировать и распознавать приблизительно 22 000 классов.

English

The CLIP and Segment Anything Model (SAM) are remarkable vision foundation models (VFMs). SAM excels in segmentation tasks across diverse domains, while CLIP is renowned for its zero-shot recognition capabilities. This paper presents an in-depth exploration of integrating these two models into a unified framework. Specifically, we introduce the Open-Vocabulary SAM, a SAM-inspired model designed for simultaneous interactive segmentation and recognition, leveraging two unique knowledge transfer modules: SAM2CLIP and CLIP2SAM. The former adapts SAM's knowledge into the CLIP via distillation and learnable transformer adapters, while the latter transfers CLIP knowledge into SAM, enhancing its recognition capabilities. Extensive experiments on various datasets and detectors show the effectiveness of Open-Vocabulary SAM in both segmentation and recognition tasks, significantly outperforming the naive baselines of simply combining SAM and CLIP. Furthermore, aided with image classification data training, our method can segment and recognize approximately 22,000 classes.