Segmentazione Universale delle Immagini Non Supervisionata

Unsupervised Universal Image Segmentation

December 28, 2023

Autori: Dantong Niu, Xudong Wang, Xinyang Han, Long Lian, Roei Herzig, Trevor Darrell

cs.AI

Abstract

Diversi approcci di segmentazione delle immagini non supervisionata sono stati proposti, eliminando la necessità di maschere di segmentazione annotate manualmente in modo denso; i modelli attuali gestiscono separatamente la segmentazione semantica (ad esempio, STEGO) o la segmentazione di istanze agnostica rispetto alle classi (ad esempio, CutLER), ma non entrambe (cioè, la segmentazione panottica). Proponiamo un modello di Segmentazione Universale Non Supervisionata (U2Seg) in grado di eseguire varie attività di segmentazione delle immagini — istanza, semantica e panottica — utilizzando un nuovo framework unificato. U2Seg genera etichette semantiche pseudo per queste attività di segmentazione sfruttando modelli auto-supervisionati seguiti da clustering; ogni cluster rappresenta diverse appartenenze semantiche e/o di istanza dei pixel. Successivamente, addestriamo il modello su queste etichette semantiche pseudo, ottenendo miglioramenti significativi rispetto a metodi specializzati per ciascun compito: un incremento di +2.6 AP^{box} rispetto a CutLER nella segmentazione di istanze non supervisionata su COCO e un aumento di +7.0 PixelAcc (rispetto a STEGO) nella segmentazione semantica non supervisionata su COCOStuff. Inoltre, il nostro metodo stabilisce un nuovo riferimento per la segmentazione panottica non supervisionata, che non era stata precedentemente esplorata. U2Seg è anche un forte modello preaddestrato per la segmentazione con pochi esempi, superando CutLER di +5.0 AP^{mask} quando addestrato in un regime di dati limitati, ad esempio solo l'1% delle etichette di COCO. Speriamo che il nostro metodo semplice ma efficace possa ispirare ulteriori ricerche sulla segmentazione universale delle immagini non supervisionata.

English

Several unsupervised image segmentation approaches have been proposed which eliminate the need for dense manually-annotated segmentation masks; current models separately handle either semantic segmentation (e.g., STEGO) or class-agnostic instance segmentation (e.g., CutLER), but not both (i.e., panoptic segmentation). We propose an Unsupervised Universal Segmentation model (U2Seg) adept at performing various image segmentation tasks -- instance, semantic and panoptic -- using a novel unified framework. U2Seg generates pseudo semantic labels for these segmentation tasks via leveraging self-supervised models followed by clustering; each cluster represents different semantic and/or instance membership of pixels. We then self-train the model on these pseudo semantic labels, yielding substantial performance gains over specialized methods tailored to each task: a +2.6 AP^{box} boost vs. CutLER in unsupervised instance segmentation on COCO and a +7.0 PixelAcc increase (vs. STEGO) in unsupervised semantic segmentation on COCOStuff. Moreover, our method sets up a new baseline for unsupervised panoptic segmentation, which has not been previously explored. U2Seg is also a strong pretrained model for few-shot segmentation, surpassing CutLER by +5.0 AP^{mask} when trained on a low-data regime, e.g., only 1% COCO labels. We hope our simple yet effective method can inspire more research on unsupervised universal image segmentation.