DaTaSeg: Domare un Modello Universale di Segmentazione Multi-Dataset e Multi-Task

DaTaSeg: Taming a Universal Multi-Dataset Multi-Task Segmentation Model

June 2, 2023

Autori: Xiuye Gu, Yin Cui, Jonathan Huang, Abdullah Rashwan, Xuan Yang, Xingyi Zhou, Golnaz Ghiasi, Weicheng Kuo, Huizhong Chen, Liang-Chieh Chen, David A Ross

cs.AI

Abstract

Osservando la stretta relazione tra i compiti di segmentazione panottica, semantica e di istanza, proponiamo di addestrare un modello universale di segmentazione multi-dataset e multi-task: DaTaSeg. Utilizziamo una rappresentazione condivisa (proposte di maschere con previsioni di classe) per tutti i compiti. Per affrontare la discrepanza tra i compiti, adottiamo diverse operazioni di fusione e post-elaborazione per compiti diversi. Sfruttiamo anche la supervisione debole, consentendo al nostro modello di segmentazione di beneficiare di annotazioni più economiche basate su bounding box. Per condividere la conoscenza tra i dataset, utilizziamo embedding di testo provenienti dallo stesso spazio semantico di embedding come classificatori e condividiamo tutti i parametri della rete tra i dataset. Addestriamo DaTaSeg sui dataset ADE semantic, COCO panoptic e Objects365 detection. DaTaSeg migliora le prestazioni su tutti i dataset, in particolare su quelli di piccole dimensioni, raggiungendo 54.0 mIoU su ADE semantic e 53.5 PQ su COCO panoptic. DaTaSeg consente anche il trasferimento di conoscenza con supervisione debole su ADE panoptic e Objects365 instance segmentation. Gli esperimenti dimostrano che DaTaSeg scala con il numero di dataset di addestramento e abilita la segmentazione open-vocabulary attraverso il trasferimento diretto. Inoltre, annotiamo un set di segmentazione di istanza di Objects365 composto da 1.000 immagini e lo renderemo disponibile come benchmark pubblico.

English

Observing the close relationship among panoptic, semantic and instance segmentation tasks, we propose to train a universal multi-dataset multi-task segmentation model: DaTaSeg.We use a shared representation (mask proposals with class predictions) for all tasks. To tackle task discrepancy, we adopt different merge operations and post-processing for different tasks. We also leverage weak-supervision, allowing our segmentation model to benefit from cheaper bounding box annotations. To share knowledge across datasets, we use text embeddings from the same semantic embedding space as classifiers and share all network parameters among datasets. We train DaTaSeg on ADE semantic, COCO panoptic, and Objects365 detection datasets. DaTaSeg improves performance on all datasets, especially small-scale datasets, achieving 54.0 mIoU on ADE semantic and 53.5 PQ on COCO panoptic. DaTaSeg also enables weakly-supervised knowledge transfer on ADE panoptic and Objects365 instance segmentation. Experiments show DaTaSeg scales with the number of training datasets and enables open-vocabulary segmentation through direct transfer. In addition, we annotate an Objects365 instance segmentation set of 1,000 images and will release it as a public benchmark.