Segmentación de Imágenes Universal No Supervisada

Unsupervised Universal Image Segmentation

December 28, 2023

Autores: Dantong Niu, Xudong Wang, Xinyang Han, Long Lian, Roei Herzig, Trevor Darrell

cs.AI

Resumen

Se han propuesto varios enfoques de segmentación de imágenes no supervisados que eliminan la necesidad de máscaras de segmentación anotadas manualmente de manera densa; los modelos actuales manejan por separado ya sea la segmentación semántica (por ejemplo, STEGO) o la segmentación de instancias independiente de la clase (por ejemplo, CutLER), pero no ambas (es decir, la segmentación panóptica). Proponemos un modelo de Segmentación Universal No Supervisada (U2Seg) capaz de realizar diversas tareas de segmentación de imágenes —segmentación de instancias, semántica y panóptica— utilizando un marco unificado novedoso. U2Seg genera etiquetas semánticas pseudo para estas tareas de segmentación aprovechando modelos auto-supervisados seguidos de agrupamiento; cada grupo representa la pertenencia semántica y/o de instancia de los píxeles. Luego, auto-entrenamos el modelo con estas etiquetas semánticas pseudo, obteniendo mejoras sustanciales en el rendimiento en comparación con métodos especializados diseñados para cada tarea: un aumento de +2.6 AP^{box} frente a CutLER en segmentación de instancias no supervisada en COCO y un incremento de +7.0 PixelAcc (frente a STEGO) en segmentación semántica no supervisada en COCOStuff. Además, nuestro método establece un nuevo punto de referencia para la segmentación panóptica no supervisada, que no había sido explorada previamente. U2Seg también es un modelo preentrenado sólido para la segmentación con pocos ejemplos, superando a CutLER por +5.0 AP^{mask} cuando se entrena en un régimen de bajo volumen de datos, por ejemplo, solo el 1% de las etiquetas de COCO. Esperamos que nuestro método simple pero efectivo pueda inspirar más investigaciones sobre la segmentación universal de imágenes no supervisada.

English

Several unsupervised image segmentation approaches have been proposed which eliminate the need for dense manually-annotated segmentation masks; current models separately handle either semantic segmentation (e.g., STEGO) or class-agnostic instance segmentation (e.g., CutLER), but not both (i.e., panoptic segmentation). We propose an Unsupervised Universal Segmentation model (U2Seg) adept at performing various image segmentation tasks -- instance, semantic and panoptic -- using a novel unified framework. U2Seg generates pseudo semantic labels for these segmentation tasks via leveraging self-supervised models followed by clustering; each cluster represents different semantic and/or instance membership of pixels. We then self-train the model on these pseudo semantic labels, yielding substantial performance gains over specialized methods tailored to each task: a +2.6 AP^{box} boost vs. CutLER in unsupervised instance segmentation on COCO and a +7.0 PixelAcc increase (vs. STEGO) in unsupervised semantic segmentation on COCOStuff. Moreover, our method sets up a new baseline for unsupervised panoptic segmentation, which has not been previously explored. U2Seg is also a strong pretrained model for few-shot segmentation, surpassing CutLER by +5.0 AP^{mask} when trained on a low-data regime, e.g., only 1% COCO labels. We hope our simple yet effective method can inspire more research on unsupervised universal image segmentation.