Dichter werden mit Open-Vocabulary Teilsegmentierung
Going Denser with Open-Vocabulary Part Segmentation
May 18, 2023
Autoren: Peize Sun, Shoufa Chen, Chenchen Zhu, Fanyi Xiao, Ping Luo, Saining Xie, Zhicheng Yan
cs.AI
Zusammenfassung
Die Objekterkennung wurde von einer begrenzten Anzahl von Kategorien auf offene Vokabulare erweitert. Für ein vollständig intelligentes Vision-System ist es nun erforderlich, feinere Objektbeschreibungen und Objektteile zu verstehen. In diesem Artikel schlagen wir einen Detektor vor, der sowohl offen-vokabular Objekte als auch deren Teilesegmentierung vorhersagen kann. Diese Fähigkeit ergibt sich aus zwei Designentscheidungen. Erstens trainieren wir den Detektor auf der Kombination von Teil-, Objekt- und Bildebenen-Daten, um die Mehrgranularitätsausrichtung zwischen Sprache und Bild zu erreichen. Zweitens zerlegen wir das neuartige Objekt in seine Teile durch seine dichte semantische Korrespondenz mit dem Basisobjekt. Diese beiden Designs ermöglichen es dem Detektor, stark von verschiedenen Datenquellen und Grundlagenmodellen zu profitieren. In Experimenten zur offen-vokabularen Teilesegmentierung übertrifft unsere Methode den Baseline-Wert um 3,3 bis 7,3 mAP bei der generalisierten Kreuzdatensatz-Auswertung auf PartImageNet und verbessert den Baseline-Wert um 7,3 novel AP_{50} bei der generalisierten Kreuzkategorie-Auswertung auf Pascal Part. Schließlich trainieren wir einen Detektor, der sich auf eine breite Palette von Teilesegmentierungsdatensätzen verallgemeinern lässt und dabei eine bessere Leistung erzielt als das datensatzspezifische Training.
English
Object detection has been expanded from a limited number of categories to
open vocabulary. Moving forward, a complete intelligent vision system requires
understanding more fine-grained object descriptions, object parts. In this
paper, we propose a detector with the ability to predict both open-vocabulary
objects and their part segmentation. This ability comes from two designs.
First, we train the detector on the joint of part-level, object-level and
image-level data to build the multi-granularity alignment between language and
image. Second, we parse the novel object into its parts by its dense semantic
correspondence with the base object. These two designs enable the detector to
largely benefit from various data sources and foundation models. In
open-vocabulary part segmentation experiments, our method outperforms the
baseline by 3.3sim7.3 mAP in cross-dataset generalization on PartImageNet,
and improves the baseline by 7.3 novel AP_{50} in cross-category
generalization on Pascal Part. Finally, we train a detector that generalizes to
a wide range of part segmentation datasets while achieving better performance
than dataset-specific training.