DaTaSeg: Zähmung eines universellen Multi-Dataset-Multi-Task-Segmentierungsmodells

DaTaSeg: Taming a Universal Multi-Dataset Multi-Task Segmentation Model

June 2, 2023

Autoren: Xiuye Gu, Yin Cui, Jonathan Huang, Abdullah Rashwan, Xuan Yang, Xingyi Zhou, Golnaz Ghiasi, Weicheng Kuo, Huizhong Chen, Liang-Chieh Chen, David A Ross

cs.AI

Zusammenfassung

Angesichts der engen Beziehung zwischen panoptischen, semantischen und Instanz-Segmentierungsaufgaben schlagen wir vor, ein universelles Multi-Dataset-Multi-Task-Segmentierungsmodell zu trainieren: DaTaSeg. Wir verwenden eine gemeinsame Repräsentation (Maskenvorschläge mit Klassenvorhersagen) für alle Aufgaben. Um die Aufgabenunterschiede zu bewältigen, setzen wir verschiedene Zusammenführungsoperationen und Nachbearbeitungen für verschiedene Aufgaben ein. Wir nutzen auch schwache Supervision, wodurch unser Segmentierungsmodell von kostengünstigeren Bounding-Box-Annotationen profitieren kann. Um Wissen über Datensätze hinweg zu teilen, verwenden wir Text-Embeddings aus demselben semantischen Embedding-Raum als Klassifikatoren und teilen alle Netzwerkparameter zwischen den Datensätzen. Wir trainieren DaTaSeg auf den ADE-Semantik-, COCO-Panoptic- und Objects365-Erkennungsdatensätzen. DaTaSeg verbessert die Leistung auf allen Datensätzen, insbesondere auf kleinen Datensätzen, und erreicht 54,0 mIoU auf ADE-Semantik und 53,5 PQ auf COCO-Panoptic. DaTaSeg ermöglicht auch schwach überwachte Wissenstransfers auf ADE-Panoptic und Objects365-Instanzsegmentierung. Experimente zeigen, dass DaTaSeg mit der Anzahl der Trainingsdatensätze skaliert und durch direkten Transfer eine offene Vokabelsegmentierung ermöglicht. Darüber hinaus annotieren wir einen Objects365-Instanzsegmentierungsdatensatz mit 1.000 Bildern und werden ihn als öffentlichen Benchmark veröffentlichen.

English

Observing the close relationship among panoptic, semantic and instance segmentation tasks, we propose to train a universal multi-dataset multi-task segmentation model: DaTaSeg.We use a shared representation (mask proposals with class predictions) for all tasks. To tackle task discrepancy, we adopt different merge operations and post-processing for different tasks. We also leverage weak-supervision, allowing our segmentation model to benefit from cheaper bounding box annotations. To share knowledge across datasets, we use text embeddings from the same semantic embedding space as classifiers and share all network parameters among datasets. We train DaTaSeg on ADE semantic, COCO panoptic, and Objects365 detection datasets. DaTaSeg improves performance on all datasets, especially small-scale datasets, achieving 54.0 mIoU on ADE semantic and 53.5 PQ on COCO panoptic. DaTaSeg also enables weakly-supervised knowledge transfer on ADE panoptic and Objects365 instance segmentation. Experiments show DaTaSeg scales with the number of training datasets and enables open-vocabulary segmentation through direct transfer. In addition, we annotate an Objects365 instance segmentation set of 1,000 images and will release it as a public benchmark.