Naar een Hogere Dichtheid met Open-Vocabulair Deelsegmentatie

Going Denser with Open-Vocabulary Part Segmentation

May 18, 2023

Auteurs: Peize Sun, Shoufa Chen, Chenchen Zhu, Fanyi Xiao, Ping Luo, Saining Xie, Zhicheng Yan

cs.AI

Samenvatting

Object detection is uitgebreid van een beperkt aantal categorieën naar open vocabulaire. Vooruitkijkend vereist een compleet intelligent visueel systeem een begrip van meer fijnmazige objectbeschrijvingen, zoals objectonderdelen. In dit artikel stellen we een detector voor die zowel open-vocabulaire objecten als hun onderdeelsegmentatie kan voorspellen. Deze mogelijkheid komt voort uit twee ontwerpen. Ten eerste trainen we de detector op de combinatie van onderdeelniveau, objectniveau en afbeeldingsniveau om de multi-granulariteit alignering tussen taal en beeld te bouwen. Ten tweede ontleden we het nieuwe object in zijn onderdelen door de dichte semantische overeenkomst met het basisobject. Deze twee ontwerpen zorgen ervoor dat de detector grotendeels kan profiteren van verschillende databronnen en foundation modellen. In experimenten met open-vocabulaire onderdeelsegmentatie overtreft onze methode de baseline met 3,3 tot 7,3 mAP in cross-dataset generalisatie op PartImageNet, en verbetert de baseline met 7,3 novel AP_{50} in cross-categorie generalisatie op Pascal Part. Tot slot trainen we een detector die generaliseert naar een breed scala aan onderdeelsegmentatie datasets, terwijl hij betere prestaties behaalt dan datasetspecifieke training.

English

Object detection has been expanded from a limited number of categories to open vocabulary. Moving forward, a complete intelligent vision system requires understanding more fine-grained object descriptions, object parts. In this paper, we propose a detector with the ability to predict both open-vocabulary objects and their part segmentation. This ability comes from two designs. First, we train the detector on the joint of part-level, object-level and image-level data to build the multi-granularity alignment between language and image. Second, we parse the novel object into its parts by its dense semantic correspondence with the base object. These two designs enable the detector to largely benefit from various data sources and foundation models. In open-vocabulary part segmentation experiments, our method outperforms the baseline by 3.3sim7.3 mAP in cross-dataset generalization on PartImageNet, and improves the baseline by 7.3 novel AP_{50} in cross-category generalization on Pascal Part. Finally, we train a detector that generalizes to a wide range of part segmentation datasets while achieving better performance than dataset-specific training.