Semantic-SAM: Segmentare e Riconoscere Qualsiasi Cosa a Qualsiasi Granularità

Semantic-SAM: Segment and Recognize Anything at Any Granularity

July 10, 2023

Autori: Feng Li, Hao Zhang, Peize Sun, Xueyan Zou, Shilong Liu, Jianwei Yang, Chunyuan Li, Lei Zhang, Jianfeng Gao

cs.AI

Abstract

In questo articolo presentiamo Semantic-SAM, un modello universale di segmentazione delle immagini in grado di segmentare e riconoscere qualsiasi elemento a qualsiasi livello di granularità desiderato. Il nostro modello offre due vantaggi chiave: consapevolezza semantica e abbondanza di granularità. Per raggiungere la consapevolezza semantica, integriamo più dataset attraverso tre livelli di granularità e introduciamo una classificazione disaccoppiata per oggetti e parti. Ciò consente al nostro modello di catturare informazioni semantiche ricche. Per la capacità multi-granularità, proponiamo uno schema di apprendimento a scelta multipla durante l'addestramento, che permette a ogni clic di generare maschere a più livelli corrispondenti a più maschere di verità di base. È importante notare che questo lavoro rappresenta il primo tentativo di addestrare congiuntamente un modello su dataset SA-1B, generici e di segmentazione delle parti. I risultati sperimentali e le visualizzazioni dimostrano che il nostro modello raggiunge con successo la consapevolezza semantica e l'abbondanza di granularità. Inoltre, combinare l'addestramento su SA-1B con altre attività di segmentazione, come la segmentazione panottica e delle parti, porta a miglioramenti delle prestazioni. Forniremo codice e una demo per ulteriori esplorazioni e valutazioni.

English

In this paper, we introduce Semantic-SAM, a universal image segmentation model to enable segment and recognize anything at any desired granularity. Our model offers two key advantages: semantic-awareness and granularity-abundance. To achieve semantic-awareness, we consolidate multiple datasets across three granularities and introduce decoupled classification for objects and parts. This allows our model to capture rich semantic information. For the multi-granularity capability, we propose a multi-choice learning scheme during training, enabling each click to generate masks at multiple levels that correspond to multiple ground-truth masks. Notably, this work represents the first attempt to jointly train a model on SA-1B, generic, and part segmentation datasets. Experimental results and visualizations demonstrate that our model successfully achieves semantic-awareness and granularity-abundance. Furthermore, combining SA-1B training with other segmentation tasks, such as panoptic and part segmentation, leads to performance improvements. We will provide code and a demo for further exploration and evaluation.