オープン語彙SAM：2万クラスのインタラクティブなセグメンテーションと認識

要旨

CLIPとSegment Anything Model（SAM）は、注目すべき視覚基盤モデル（VFMs）です。SAMは多様な領域におけるセグメンテーションタスクで優れた性能を発揮し、CLIPはゼロショット認識能力で知られています。本論文では、これら2つのモデルを統合したフレームワークについて詳細に探求します。具体的には、Open-Vocabulary SAMを紹介します。これは、SAMにインスパイアされたモデルで、同時にインタラクティブなセグメンテーションと認識を行うために設計されており、2つの独自の知識転移モジュール、SAM2CLIPとCLIP2SAMを活用します。前者は、蒸留と学習可能なトランスフォーマーアダプターを介してSAMの知識をCLIPに適応させ、後者はCLIPの知識をSAMに転移し、その認識能力を向上させます。様々なデータセットと検出器を用いた広範な実験により、Open-Vocabulary SAMがセグメンテーションと認識タスクの両方で有効であり、単純にSAMとCLIPを組み合わせたナイーブなベースラインを大幅に上回ることが示されています。さらに、画像分類データのトレーニングを活用することで、本手法は約22,000クラスのセグメンテーションと認識が可能です。

English

The CLIP and Segment Anything Model (SAM) are remarkable vision foundation models (VFMs). SAM excels in segmentation tasks across diverse domains, while CLIP is renowned for its zero-shot recognition capabilities. This paper presents an in-depth exploration of integrating these two models into a unified framework. Specifically, we introduce the Open-Vocabulary SAM, a SAM-inspired model designed for simultaneous interactive segmentation and recognition, leveraging two unique knowledge transfer modules: SAM2CLIP and CLIP2SAM. The former adapts SAM's knowledge into the CLIP via distillation and learnable transformer adapters, while the latter transfers CLIP knowledge into SAM, enhancing its recognition capabilities. Extensive experiments on various datasets and detectors show the effectiveness of Open-Vocabulary SAM in both segmentation and recognition tasks, significantly outperforming the naive baselines of simply combining SAM and CLIP. Furthermore, aided with image classification data training, our method can segment and recognize approximately 22,000 classes.

オープン語彙SAM：2万クラスのインタラクティブなセグメンテーションと認識

Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

要旨

Support