Segmentação Universal de Imagens Não Supervisionada

Unsupervised Universal Image Segmentation

December 28, 2023

Autores: Dantong Niu, Xudong Wang, Xinyang Han, Long Lian, Roei Herzig, Trevor Darrell

cs.AI

Resumo

Várias abordagens de segmentação de imagens não supervisionadas foram propostas, eliminando a necessidade de máscaras de segmentação densamente anotadas manualmente; os modelos atuais lidam separadamente com segmentação semântica (por exemplo, STEGO) ou segmentação de instâncias agnóstica a classes (por exemplo, CutLER), mas não com ambas (ou seja, segmentação panóptica). Propomos um modelo de Segmentação Universal Não Supervisionada (U2Seg) capaz de realizar várias tarefas de segmentação de imagens — instância, semântica e panóptica — usando uma nova estrutura unificada. O U2Seg gera rótulos semânticos pseudo para essas tarefas de segmentação aproveitando modelos auto-supervisionados seguidos por agrupamento; cada cluster representa diferentes membros semânticos e/ou de instância de pixels. Em seguida, auto-treinamos o modelo nesses rótulos semânticos pseudo, obtendo ganhos substanciais de desempenho em relação a métodos especializados adaptados a cada tarefa: um aumento de +2,6 AP^{box} em comparação com o CutLER na segmentação de instâncias não supervisionada no COCO e um aumento de +7,0 PixelAcc (em comparação com o STEGO) na segmentação semântica não supervisionada no COCOStuff. Além disso, nosso método estabelece uma nova referência para a segmentação panóptica não supervisionada, que não havia sido explorada anteriormente. O U2Seg também é um modelo pré-treinado robusto para segmentação com poucos exemplos, superando o CutLER em +5,0 AP^{mask} quando treinado em um regime de baixo volume de dados, por exemplo, apenas 1% dos rótulos do COCO. Esperamos que nosso método simples, porém eficaz, possa inspirar mais pesquisas sobre segmentação universal de imagens não supervisionada.

English

Several unsupervised image segmentation approaches have been proposed which eliminate the need for dense manually-annotated segmentation masks; current models separately handle either semantic segmentation (e.g., STEGO) or class-agnostic instance segmentation (e.g., CutLER), but not both (i.e., panoptic segmentation). We propose an Unsupervised Universal Segmentation model (U2Seg) adept at performing various image segmentation tasks -- instance, semantic and panoptic -- using a novel unified framework. U2Seg generates pseudo semantic labels for these segmentation tasks via leveraging self-supervised models followed by clustering; each cluster represents different semantic and/or instance membership of pixels. We then self-train the model on these pseudo semantic labels, yielding substantial performance gains over specialized methods tailored to each task: a +2.6 AP^{box} boost vs. CutLER in unsupervised instance segmentation on COCO and a +7.0 PixelAcc increase (vs. STEGO) in unsupervised semantic segmentation on COCOStuff. Moreover, our method sets up a new baseline for unsupervised panoptic segmentation, which has not been previously explored. U2Seg is also a strong pretrained model for few-shot segmentation, surpassing CutLER by +5.0 AP^{mask} when trained on a low-data regime, e.g., only 1% COCO labels. We hope our simple yet effective method can inspire more research on unsupervised universal image segmentation.