Andare verso una Maggiore Densità con la Segmentazione di Parti a Vocabolario Aperto
Going Denser with Open-Vocabulary Part Segmentation
May 18, 2023
Autori: Peize Sun, Shoufa Chen, Chenchen Zhu, Fanyi Xiao, Ping Luo, Saining Xie, Zhicheng Yan
cs.AI
Abstract
La rilevazione degli oggetti si è ampliata da un numero limitato di categorie a un vocabolario aperto. Andando avanti, un sistema di visione intelligente completo richiede la comprensione di descrizioni più dettagliate degli oggetti e delle loro parti. In questo articolo, proponiamo un rilevatore in grado di prevedere sia oggetti a vocabolario aperto che la segmentazione delle loro parti. Questa capacità deriva da due progettazioni. Innanzitutto, addestriamo il rilevatore sull'unione di dati a livello di parte, a livello di oggetto e a livello di immagine per costruire l'allineamento multi-granularità tra linguaggio e immagine. In secondo luogo, analizziamo il nuovo oggetto nelle sue parti attraverso la sua corrispondenza semantica densa con l'oggetto base. Queste due progettazioni consentono al rilevatore di trarre vantaggio da varie fonti di dati e modelli di base. Negli esperimenti di segmentazione delle parti a vocabolario aperto, il nostro metodo supera la linea di base di 3,3~7,3 mAP nella generalizzazione cross-dataset su PartImageNet e migliora la linea di base di 7,3 novel AP_{50} nella generalizzazione cross-categoria su Pascal Part. Infine, addestriamo un rilevatore che generalizza a un'ampia gamma di dataset di segmentazione delle parti, ottenendo prestazioni migliori rispetto all'addestramento specifico per dataset.
English
Object detection has been expanded from a limited number of categories to
open vocabulary. Moving forward, a complete intelligent vision system requires
understanding more fine-grained object descriptions, object parts. In this
paper, we propose a detector with the ability to predict both open-vocabulary
objects and their part segmentation. This ability comes from two designs.
First, we train the detector on the joint of part-level, object-level and
image-level data to build the multi-granularity alignment between language and
image. Second, we parse the novel object into its parts by its dense semantic
correspondence with the base object. These two designs enable the detector to
largely benefit from various data sources and foundation models. In
open-vocabulary part segmentation experiments, our method outperforms the
baseline by 3.3sim7.3 mAP in cross-dataset generalization on PartImageNet,
and improves the baseline by 7.3 novel AP_{50} in cross-category
generalization on Pascal Part. Finally, we train a detector that generalizes to
a wide range of part segmentation datasets while achieving better performance
than dataset-specific training.