Semantic-SAM: Segmentar e Reconhecer Qualquer Coisa em Qualquer Granularidade

Semantic-SAM: Segment and Recognize Anything at Any Granularity

July 10, 2023

Autores: Feng Li, Hao Zhang, Peize Sun, Xueyan Zou, Shilong Liu, Jianwei Yang, Chunyuan Li, Lei Zhang, Jianfeng Gao

cs.AI

Resumo

Neste artigo, apresentamos o Semantic-SAM, um modelo universal de segmentação de imagens capaz de segmentar e reconhecer qualquer coisa em qualquer granularidade desejada. Nosso modelo oferece duas vantagens principais: consciência semântica e abundância de granularidade. Para alcançar a consciência semântica, consolidamos múltiplos conjuntos de dados em três granularidades e introduzimos uma classificação desacoplada para objetos e partes. Isso permite que nosso modelo capture informações semânticas ricas. Para a capacidade de multi-granularidade, propomos um esquema de aprendizado de múltiplas escolhas durante o treinamento, permitindo que cada clique gere máscaras em múltiplos níveis que correspondem a múltiplas máscaras de verdade fundamental. Vale destacar que este trabalho representa a primeira tentativa de treinar conjuntamente um modelo em conjuntos de dados de segmentação SA-1B, genéricos e de partes. Resultados experimentais e visualizações demonstram que nosso modelo alcança com sucesso a consciência semântica e a abundância de granularidade. Além disso, a combinação do treinamento com SA-1B e outras tarefas de segmentação, como segmentação panóptica e de partes, resulta em melhorias de desempenho. Disponibilizaremos código e uma demonstração para exploração e avaliação adicionais.

English

In this paper, we introduce Semantic-SAM, a universal image segmentation model to enable segment and recognize anything at any desired granularity. Our model offers two key advantages: semantic-awareness and granularity-abundance. To achieve semantic-awareness, we consolidate multiple datasets across three granularities and introduce decoupled classification for objects and parts. This allows our model to capture rich semantic information. For the multi-granularity capability, we propose a multi-choice learning scheme during training, enabling each click to generate masks at multiple levels that correspond to multiple ground-truth masks. Notably, this work represents the first attempt to jointly train a model on SA-1B, generic, and part segmentation datasets. Experimental results and visualizations demonstrate that our model successfully achieves semantic-awareness and granularity-abundance. Furthermore, combining SA-1B training with other segmentation tasks, such as panoptic and part segmentation, leads to performance improvements. We will provide code and a demo for further exploration and evaluation.