Segmentazione di Qualsiasi Cosa in Alta Qualità

Segment Anything in High Quality

June 2, 2023

Autori: Lei Ke, Mingqiao Ye, Martin Danelljan, Yifan Liu, Yu-Wing Tai, Chi-Keung Tang, Fisher Yu

cs.AI

Abstract

Il recente Segment Anything Model (SAM) rappresenta un grande balzo in avanti nel ridimensionamento dei modelli di segmentazione, consentendo potenti capacità zero-shot e un prompting flessibile. Nonostante sia stato addestrato con 1,1 miliardi di maschere, la qualità della previsione delle maschere di SAM risulta carente in molti casi, specialmente quando si tratta di oggetti con strutture intricate. Proponiamo HQ-SAM, dotando SAM della capacità di segmentare con precisione qualsiasi oggetto, mantenendo il design promptable originale di SAM, l'efficienza e la generalizzabilità zero-shot. Il nostro attento design riutilizza e preserva i pesi del modello pre-addestrato di SAM, introducendo solo parametri e calcoli aggiuntivi minimi. Progettiamo un High-Quality Output Token apprendibile, che viene iniettato nel decoder di maschere di SAM ed è responsabile della previsione della maschera ad alta qualità. Invece di applicarlo solo sulle caratteristiche del decoder di maschere, le fondiamo prima con le caratteristiche iniziali e finali di ViT per migliorare i dettagli della maschera. Per addestrare i parametri apprendibili introdotti, componiamo un dataset di 44K maschere ad alta granularità provenienti da diverse fonti. HQ-SAM viene addestrato solo sul dataset introdotto di 44k maschere, che richiede solo 4 ore su 8 GPU. Dimostriamo l'efficacia di HQ-SAM in una suite di 9 diversi dataset di segmentazione attraverso diverse attività downstream, dove 7 di essi vengono valutati con un protocollo di trasferimento zero-shot. Il nostro codice e i modelli saranno rilasciati su https://github.com/SysCV/SAM-HQ.

English

The recent Segment Anything Model (SAM) represents a big leap in scaling up segmentation models, allowing for powerful zero-shot capabilities and flexible prompting. Despite being trained with 1.1 billion masks, SAM's mask prediction quality falls short in many cases, particularly when dealing with objects that have intricate structures. We propose HQ-SAM, equipping SAM with the ability to accurately segment any object, while maintaining SAM's original promptable design, efficiency, and zero-shot generalizability. Our careful design reuses and preserves the pre-trained model weights of SAM, while only introducing minimal additional parameters and computation. We design a learnable High-Quality Output Token, which is injected into SAM's mask decoder and is responsible for predicting the high-quality mask. Instead of only applying it on mask-decoder features, we first fuse them with early and final ViT features for improved mask details. To train our introduced learnable parameters, we compose a dataset of 44K fine-grained masks from several sources. HQ-SAM is only trained on the introduced detaset of 44k masks, which takes only 4 hours on 8 GPUs. We show the efficacy of HQ-SAM in a suite of 9 diverse segmentation datasets across different downstream tasks, where 7 out of them are evaluated in a zero-shot transfer protocol. Our code and models will be released at https://github.com/SysCV/SAM-HQ.