Независимая универсальная сегментация изображений

Unsupervised Universal Image Segmentation

December 28, 2023

Авторы: Dantong Niu, Xudong Wang, Xinyang Han, Long Lian, Roei Herzig, Trevor Darrell

cs.AI

Аннотация

Было предложено несколько подходов к неконтролируемой сегментации изображений, которые устраняют необходимость в плотных ручных аннотациях масок сегментации; современные модели отдельно решают либо задачу семантической сегментации (например, STEGO), либо класс-независимой сегментации экземпляров (например, CutLER), но не обе задачи одновременно (т.е. панорамную сегментацию). Мы предлагаем модель Unsupervised Universal Segmentation (U2Seg), способную выполнять различные задачи сегментации изображений — сегментацию экземпляров, семантическую и панорамную — с использованием нового унифицированного подхода. U2Seg генерирует псевдосемантические метки для этих задач сегментации, используя самоконтролируемые модели с последующей кластеризацией; каждый кластер представляет различные семантические и/или принадлежность экземпляров пикселей. Затем мы проводим самообучение модели на этих псевдосемантических метках, что приводит к значительному улучшению производительности по сравнению с специализированными методами, адаптированными для каждой задачи: увеличение на +2.6 AP^{box} по сравнению с CutLER в неконтролируемой сегментации экземпляров на COCO и увеличение на +7.0 PixelAcc (по сравнению с STEGO) в неконтролируемой семантической сегментации на COCOStuff. Более того, наш метод устанавливает новый базовый уровень для неконтролируемой панорамной сегментации, которая ранее не исследовалась. U2Seg также является мощной предобученной моделью для сегментации с малым количеством данных, превосходя CutLER на +5.0 AP^{mask} при обучении в условиях ограниченных данных, например, всего 1% меток COCO. Мы надеемся, что наш простой, но эффективный метод вдохновит на дальнейшие исследования в области неконтролируемой универсальной сегментации изображений.

English

Several unsupervised image segmentation approaches have been proposed which eliminate the need for dense manually-annotated segmentation masks; current models separately handle either semantic segmentation (e.g., STEGO) or class-agnostic instance segmentation (e.g., CutLER), but not both (i.e., panoptic segmentation). We propose an Unsupervised Universal Segmentation model (U2Seg) adept at performing various image segmentation tasks -- instance, semantic and panoptic -- using a novel unified framework. U2Seg generates pseudo semantic labels for these segmentation tasks via leveraging self-supervised models followed by clustering; each cluster represents different semantic and/or instance membership of pixels. We then self-train the model on these pseudo semantic labels, yielding substantial performance gains over specialized methods tailored to each task: a +2.6 AP^{box} boost vs. CutLER in unsupervised instance segmentation on COCO and a +7.0 PixelAcc increase (vs. STEGO) in unsupervised semantic segmentation on COCOStuff. Moreover, our method sets up a new baseline for unsupervised panoptic segmentation, which has not been previously explored. U2Seg is also a strong pretrained model for few-shot segmentation, surpassing CutLER by +5.0 AP^{mask} when trained on a low-data regime, e.g., only 1% COCO labels. We hope our simple yet effective method can inspire more research on unsupervised universal image segmentation.