Open-Vocabulary SAM: Segmentação e Reconhecimento Interativo de Vinte Mil Classes

Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

January 5, 2024

Autores: Haobo Yuan, Xiangtai Li, Chong Zhou, Yining Li, Kai Chen, Chen Change Loy

cs.AI

Resumo

O CLIP e o Segment Anything Model (SAM) são modelos fundamentais de visão (VFMs) notáveis. O SAM se destaca em tarefas de segmentação em diversos domínios, enquanto o CLIP é reconhecido por suas capacidades de reconhecimento zero-shot. Este artigo apresenta uma exploração detalhada da integração desses dois modelos em um framework unificado. Especificamente, introduzimos o Open-Vocabulary SAM, um modelo inspirado no SAM projetado para segmentação interativa e reconhecimento simultâneos, aproveitando dois módulos únicos de transferência de conhecimento: SAM2CLIP e CLIP2SAM. O primeiro adapta o conhecimento do SAM para o CLIP por meio de destilação e adaptadores de transformadores aprendíveis, enquanto o segundo transfere o conhecimento do CLIP para o SAM, aprimorando suas capacidades de reconhecimento. Experimentos extensos em diversos conjuntos de dados e detectores mostram a eficácia do Open-Vocabulary SAM tanto em tarefas de segmentação quanto de reconhecimento, superando significativamente as abordagens básicas de simplesmente combinar o SAM e o CLIP. Além disso, com o auxílio de treinamento em dados de classificação de imagens, nosso método pode segmentar e reconhecer aproximadamente 22.000 classes.

English

The CLIP and Segment Anything Model (SAM) are remarkable vision foundation models (VFMs). SAM excels in segmentation tasks across diverse domains, while CLIP is renowned for its zero-shot recognition capabilities. This paper presents an in-depth exploration of integrating these two models into a unified framework. Specifically, we introduce the Open-Vocabulary SAM, a SAM-inspired model designed for simultaneous interactive segmentation and recognition, leveraging two unique knowledge transfer modules: SAM2CLIP and CLIP2SAM. The former adapts SAM's knowledge into the CLIP via distillation and learnable transformer adapters, while the latter transfers CLIP knowledge into SAM, enhancing its recognition capabilities. Extensive experiments on various datasets and detectors show the effectiveness of Open-Vocabulary SAM in both segmentation and recognition tasks, significantly outperforming the naive baselines of simply combining SAM and CLIP. Furthermore, aided with image classification data training, our method can segment and recognize approximately 22,000 classes.