오픈-보커블러리 SAM: 2만 개의 클래스를 인터랙티브하게 세그먼트 및 인식하기

초록

CLIP과 Segment Anything Model(SAM)은 주목할 만한 비전 기반 모델(VFMs)입니다. SAM은 다양한 도메인에서의 세그멘테이션 작업에서 탁월한 성능을 보이며, CLIP은 제로샷 인식 능력으로 유명합니다. 본 논문은 이 두 모델을 통합된 프레임워크로 통합하는 방법에 대한 심층적인 탐구를 제시합니다. 구체적으로, 우리는 SAM에서 영감을 받은 Open-Vocabulary SAM을 소개합니다. 이 모델은 두 가지 독특한 지식 전달 모듈인 SAM2CLIP과 CLIP2SAM을 활용하여 동시에 인터랙티브 세그멘테이션과 인식을 수행하도록 설계되었습니다. 전자는 SAM의 지식을 증류와 학습 가능한 트랜스포머 어댑터를 통해 CLIP에 적응시키고, 후자는 CLIP의 지식을 SAM으로 전달하여 인식 능력을 향상시킵니다. 다양한 데이터셋과 검출기에서의 광범위한 실험을 통해 Open-Vocabulary SAM이 세그멘테이션과 인식 작업 모두에서 효과적이며, 단순히 SAM과 CLIP을 결합한 기본 방법을 크게 능가함을 보여줍니다. 또한, 이미지 분류 데이터 학습을 통해 우리의 방법은 약 22,000개의 클래스를 세그멘테이션하고 인식할 수 있습니다.

English

The CLIP and Segment Anything Model (SAM) are remarkable vision foundation models (VFMs). SAM excels in segmentation tasks across diverse domains, while CLIP is renowned for its zero-shot recognition capabilities. This paper presents an in-depth exploration of integrating these two models into a unified framework. Specifically, we introduce the Open-Vocabulary SAM, a SAM-inspired model designed for simultaneous interactive segmentation and recognition, leveraging two unique knowledge transfer modules: SAM2CLIP and CLIP2SAM. The former adapts SAM's knowledge into the CLIP via distillation and learnable transformer adapters, while the latter transfers CLIP knowledge into SAM, enhancing its recognition capabilities. Extensive experiments on various datasets and detectors show the effectiveness of Open-Vocabulary SAM in both segmentation and recognition tasks, significantly outperforming the naive baselines of simply combining SAM and CLIP. Furthermore, aided with image classification data training, our method can segment and recognize approximately 22,000 classes.

오픈-보커블러리 SAM: 2만 개의 클래스를 인터랙티브하게 세그먼트 및 인식하기

Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

초록

Support