Open-Vocabulary SAM: Segmenta y Reconoce Veinte Mil Clases de Manera Interactiva

Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

January 5, 2024

Autores: Haobo Yuan, Xiangtai Li, Chong Zhou, Yining Li, Kai Chen, Chen Change Loy

cs.AI

Resumen

CLIP y el Modelo Segment Anything (SAM) son modelos fundamentales de visión (VFMs) destacados. SAM sobresale en tareas de segmentación en diversos dominios, mientras que CLIP es reconocido por sus capacidades de reconocimiento zero-shot. Este artículo presenta una exploración en profundidad de la integración de estos dos modelos en un marco unificado. Específicamente, introducimos el Open-Vocabulary SAM, un modelo inspirado en SAM diseñado para la segmentación interactiva y el reconocimiento simultáneos, aprovechando dos módulos únicos de transferencia de conocimiento: SAM2CLIP y CLIP2SAM. El primero adapta el conocimiento de SAM a CLIP mediante destilación y adaptadores transformadores aprendibles, mientras que el segundo transfiere el conocimiento de CLIP a SAM, mejorando sus capacidades de reconocimiento. Experimentos extensos en varios conjuntos de datos y detectores muestran la efectividad de Open-Vocabulary SAM tanto en tareas de segmentación como de reconocimiento, superando significativamente los enfoques básicos de simplemente combinar SAM y CLIP. Además, con la ayuda del entrenamiento con datos de clasificación de imágenes, nuestro método puede segmentar y reconocer aproximadamente 22,000 clases.

English

The CLIP and Segment Anything Model (SAM) are remarkable vision foundation models (VFMs). SAM excels in segmentation tasks across diverse domains, while CLIP is renowned for its zero-shot recognition capabilities. This paper presents an in-depth exploration of integrating these two models into a unified framework. Specifically, we introduce the Open-Vocabulary SAM, a SAM-inspired model designed for simultaneous interactive segmentation and recognition, leveraging two unique knowledge transfer modules: SAM2CLIP and CLIP2SAM. The former adapts SAM's knowledge into the CLIP via distillation and learnable transformer adapters, while the latter transfers CLIP knowledge into SAM, enhancing its recognition capabilities. Extensive experiments on various datasets and detectors show the effectiveness of Open-Vocabulary SAM in both segmentation and recognition tasks, significantly outperforming the naive baselines of simply combining SAM and CLIP. Furthermore, aided with image classification data training, our method can segment and recognize approximately 22,000 classes.