Onbewaakte universele beeldsegmentatie

Unsupervised Universal Image Segmentation

December 28, 2023

Auteurs: Dantong Niu, Xudong Wang, Xinyang Han, Long Lian, Roei Herzig, Trevor Darrell

cs.AI

Samenvatting

Er zijn verschillende onbewaakte beeldsegmentatiebenaderingen voorgesteld die de noodzaak van dicht opeengepakte, handmatig geannoteerde segmentatiemaskers elimineren; huidige modellen behandelen afzonderlijk ofwel semantische segmentatie (bijv. STEGO) of klasse-agnostische instantiesegmentatie (bijv. CutLER), maar niet beide (d.w.z. panoptische segmentatie). Wij stellen een Onbewaakt Universeel Segmentatiemodel (U2Seg) voor dat in staat is verschillende beeldsegmentatietaken uit te voeren – instantie, semantisch en panoptisch – met behulp van een nieuw geïntegreerd raamwerk. U2Seg genereert pseudo-semantische labels voor deze segmentatietaken door gebruik te maken van zelfbewaakte modellen gevolgd door clustering; elke cluster vertegenwoordigt verschillende semantische en/of instantielidmaatschappen van pixels. Vervolgens trainen we het model zelf op deze pseudo-semantische labels, wat aanzienlijke prestatieverbeteringen oplevert ten opzichte van gespecialiseerde methoden die zijn afgestemd op elke taak: een +2.6 AP^{box} verbetering ten opzichte van CutLER in onbewaakte instantiesegmentatie op COCO en een +7.0 PixelAcc toename (ten opzichte van STEGO) in onbewaakte semantische segmentatie op COCOStuff. Bovendien stelt onze methode een nieuwe basislijn voor onbewaakte panoptische segmentatie, wat eerder niet is onderzocht. U2Seg is ook een sterk voorgetraind model voor few-shot segmentatie, dat CutLER met +5.0 AP^{mask} overtreft wanneer het wordt getraind in een laag-dataregime, bijvoorbeeld slechts 1% COCO-labels. Wij hopen dat onze eenvoudige maar effectieve methode meer onderzoek kan inspireren naar onbewaakte universele beeldsegmentatie.

English

Several unsupervised image segmentation approaches have been proposed which eliminate the need for dense manually-annotated segmentation masks; current models separately handle either semantic segmentation (e.g., STEGO) or class-agnostic instance segmentation (e.g., CutLER), but not both (i.e., panoptic segmentation). We propose an Unsupervised Universal Segmentation model (U2Seg) adept at performing various image segmentation tasks -- instance, semantic and panoptic -- using a novel unified framework. U2Seg generates pseudo semantic labels for these segmentation tasks via leveraging self-supervised models followed by clustering; each cluster represents different semantic and/or instance membership of pixels. We then self-train the model on these pseudo semantic labels, yielding substantial performance gains over specialized methods tailored to each task: a +2.6 AP^{box} boost vs. CutLER in unsupervised instance segmentation on COCO and a +7.0 PixelAcc increase (vs. STEGO) in unsupervised semantic segmentation on COCOStuff. Moreover, our method sets up a new baseline for unsupervised panoptic segmentation, which has not been previously explored. U2Seg is also a strong pretrained model for few-shot segmentation, surpassing CutLER by +5.0 AP^{mask} when trained on a low-data regime, e.g., only 1% COCO labels. We hope our simple yet effective method can inspire more research on unsupervised universal image segmentation.