Segmentation d'image universelle non supervisée

Unsupervised Universal Image Segmentation

December 28, 2023

Auteurs: Dantong Niu, Xudong Wang, Xinyang Han, Long Lian, Roei Herzig, Trevor Darrell

cs.AI

Résumé

Plusieurs approches de segmentation d'images non supervisées ont été proposées, éliminant ainsi le besoin de masques de segmentation annotés manuellement de manière dense. Les modèles actuels traitent séparément soit la segmentation sémantique (par exemple, STEGO), soit la segmentation d'instances indépendante des classes (par exemple, CutLER), mais pas les deux simultanément (c'est-à-dire la segmentation panoptique). Nous proposons un modèle de segmentation universelle non supervisée (U2Seg) capable d'exécuter diverses tâches de segmentation d'images — segmentation d'instances, sémantique et panoptique — en utilisant un cadre unifié novateur. U2Seg génère des étiquettes sémantiques pseudo pour ces tâches de segmentation en exploitant des modèles auto-supervisés suivis d'un clustering ; chaque cluster représente l'appartenance sémantique et/ou d'instance différente des pixels. Nous auto-entraînons ensuite le modèle sur ces étiquettes sémantiques pseudo, obtenant ainsi des gains de performance substantiels par rapport aux méthodes spécialisées adaptées à chaque tâche : une augmentation de +2,6 AP^{box} par rapport à CutLER dans la segmentation d'instances non supervisée sur COCO et une augmentation de +7,0 PixelAcc (par rapport à STEGO) dans la segmentation sémantique non supervisée sur COCOStuff. De plus, notre méthode établit une nouvelle référence pour la segmentation panoptique non supervisée, qui n'avait pas été explorée auparavant. U2Seg est également un modèle pré-entraîné robuste pour la segmentation en faible régime de données, surpassant CutLER de +5,0 AP^{mask} lorsqu'il est entraîné avec un faible volume de données, par exemple seulement 1 % des étiquettes de COCO. Nous espérons que notre méthode simple mais efficace pourra inspirer davantage de recherches sur la segmentation universelle d'images non supervisée.

English

Several unsupervised image segmentation approaches have been proposed which eliminate the need for dense manually-annotated segmentation masks; current models separately handle either semantic segmentation (e.g., STEGO) or class-agnostic instance segmentation (e.g., CutLER), but not both (i.e., panoptic segmentation). We propose an Unsupervised Universal Segmentation model (U2Seg) adept at performing various image segmentation tasks -- instance, semantic and panoptic -- using a novel unified framework. U2Seg generates pseudo semantic labels for these segmentation tasks via leveraging self-supervised models followed by clustering; each cluster represents different semantic and/or instance membership of pixels. We then self-train the model on these pseudo semantic labels, yielding substantial performance gains over specialized methods tailored to each task: a +2.6 AP^{box} boost vs. CutLER in unsupervised instance segmentation on COCO and a +7.0 PixelAcc increase (vs. STEGO) in unsupervised semantic segmentation on COCOStuff. Moreover, our method sets up a new baseline for unsupervised panoptic segmentation, which has not been previously explored. U2Seg is also a strong pretrained model for few-shot segmentation, surpassing CutLER by +5.0 AP^{mask} when trained on a low-data regime, e.g., only 1% COCO labels. We hope our simple yet effective method can inspire more research on unsupervised universal image segmentation.