DaTaSeg: Het temmen van een universeel multi-dataset multi-task segmentatiemodel

DaTaSeg: Taming a Universal Multi-Dataset Multi-Task Segmentation Model

June 2, 2023

Auteurs: Xiuye Gu, Yin Cui, Jonathan Huang, Abdullah Rashwan, Xuan Yang, Xingyi Zhou, Golnaz Ghiasi, Weicheng Kuo, Huizhong Chen, Liang-Chieh Chen, David A Ross

cs.AI

Samenvatting

Gezien de nauwe relatie tussen panoptische, semantische en instance segmentatietaken, stellen we voor om een universeel multi-dataset multi-task segmentatiemodel te trainen: DaTaSeg. We gebruiken een gedeelde representatie (maskervoorstellen met klassevoorspellingen) voor alle taken. Om de taakdiscrepantie aan te pakken, passen we verschillende samenvoegingsoperaties en nabewerkingen toe voor verschillende taken. We maken ook gebruik van zwakke supervisie, waardoor ons segmentatiemodel kan profiteren van goedkopere annotaties in de vorm van begrenzingsvakken. Om kennis tussen datasets te delen, gebruiken we tekst-embeddings uit dezelfde semantische embeddingruimte als classificatoren en delen we alle netwerkparameters tussen datasets. We trainen DaTaSeg op de ADE semantische, COCO panoptische en Objects365 detectiedatasets. DaTaSeg verbetert de prestaties op alle datasets, met name op kleinschalige datasets, en behaalt 54.0 mIoU op ADE semantisch en 53.5 PQ op COCO panoptisch. DaTaSeg maakt ook zwak-gesuperviseerde kennisoverdracht mogelijk op ADE panoptisch en Objects365 instance segmentatie. Experimenten tonen aan dat DaTaSeg schaalt met het aantal trainingsdatasets en open-vocabulary segmentatie mogelijk maakt door directe overdracht. Daarnaast annoteren we een Objects365 instance segmentatieset van 1.000 afbeeldingen en zullen deze vrijgeven als een openbare benchmark.

English

Observing the close relationship among panoptic, semantic and instance segmentation tasks, we propose to train a universal multi-dataset multi-task segmentation model: DaTaSeg.We use a shared representation (mask proposals with class predictions) for all tasks. To tackle task discrepancy, we adopt different merge operations and post-processing for different tasks. We also leverage weak-supervision, allowing our segmentation model to benefit from cheaper bounding box annotations. To share knowledge across datasets, we use text embeddings from the same semantic embedding space as classifiers and share all network parameters among datasets. We train DaTaSeg on ADE semantic, COCO panoptic, and Objects365 detection datasets. DaTaSeg improves performance on all datasets, especially small-scale datasets, achieving 54.0 mIoU on ADE semantic and 53.5 PQ on COCO panoptic. DaTaSeg also enables weakly-supervised knowledge transfer on ADE panoptic and Objects365 instance segmentation. Experiments show DaTaSeg scales with the number of training datasets and enables open-vocabulary segmentation through direct transfer. In addition, we annotate an Objects365 instance segmentation set of 1,000 images and will release it as a public benchmark.