EVF-SAM: Vroege Visie-Taal Fusie voor Tekstgeprompte Segmentatie van Alles Model

EVF-SAM: Early Vision-Language Fusion for Text-Prompted Segment Anything Model

June 28, 2024

Auteurs: Yuxuan Zhang, Tianheng Cheng, Rui Hu, ei Liu, Heng Liu, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang

cs.AI

Samenvatting

Het Segment Anything Model (SAM) heeft brede aandacht getrokken vanwege zijn superieure interactieve segmentatiecapaciteiten met visuele prompts, terwijl het gebruik van tekstprompts nog niet grondig is onderzocht. In dit artikel onderzoeken we empirisch welke tekstprompt-encoders (bijv. CLIP of LLM) geschikt zijn om SAM aan te passen voor verwijzende expressiesegmentatie en introduceren we de Early Vision-language Fusion-based SAM (EVF-SAM). EVF-SAM is een eenvoudige maar effectieve methode voor verwijzende segmentatie die gebruikmaakt van multimodale prompts (d.w.z. afbeelding en tekst) en bestaat uit een vooraf getraind vision-language-model om verwijzende prompts te genereren en een SAM-model voor segmentatie. Verrassend genoeg observeren we dat: (1) multimodale prompts en (2) vision-language-modellen met vroege fusie (bijv. BEIT-3) gunstig zijn voor het aansturen van SAM voor nauwkeurige verwijzende segmentatie. Onze experimenten tonen aan dat de voorgestelde EVF-SAM, gebaseerd op BEIT-3, state-of-the-art prestaties kan behalen op RefCOCO/+/g voor verwijzende expressiesegmentatie en de superioriteit aantoont van het aansturen van SAM met vroege vision-language-fusie. Bovendien bereikt de voorgestelde EVF-SAM met 1,32B parameters een aanzienlijk hogere prestatie terwijl bijna 82% van de parameters wordt verminderd in vergelijking met eerdere SAM-methoden gebaseerd op grote multimodale modellen.

English

Segment Anything Model (SAM) has attracted widespread attention for its superior interactive segmentation capabilities with visual prompts while lacking further exploration of text prompts. In this paper, we empirically investigate what text prompt encoders (e.g., CLIP or LLM) are good for adapting SAM for referring expression segmentation and introduce the Early Vision-language Fusion-based SAM (EVF-SAM). EVF-SAM is a simple yet effective referring segmentation method which exploits multimodal prompts (i.e., image and text) and comprises a pre-trained vision-language model to generate referring prompts and a SAM model for segmentation. Surprisingly, we observe that: (1) multimodal prompts and (2) vision-language models with early fusion (e.g., BEIT-3) are beneficial for prompting SAM for accurate referring segmentation. Our experiments show that the proposed EVF-SAM based on BEIT-3 can obtain state-of-the-art performance on RefCOCO/+/g for referring expression segmentation and demonstrate the superiority of prompting SAM with early vision-language fusion. In addition, the proposed EVF-SAM with 1.32B parameters achieves remarkably higher performance while reducing nearly 82% of parameters compared to previous SAM methods based on large multimodal models.