オープン語彙パートセグメンテーションによる高密度化への挑戦
Going Denser with Open-Vocabulary Part Segmentation
May 18, 2023
著者: Peize Sun, Shoufa Chen, Chenchen Zhu, Fanyi Xiao, Ping Luo, Saining Xie, Zhicheng Yan
cs.AI
要旨
物体検出は限られたカテゴリからオープンな語彙へと拡張されてきました。今後、完全な知覚システムを構築するためには、より細粒度な物体記述や物体の部分を理解することが必要です。本論文では、オープンな語彙の物体とその部分セグメンテーションの両方を予測可能な検出器を提案します。この能力は2つの設計に由来します。第一に、部分レベル、物体レベル、画像レベルのデータを統合して学習することで、言語と画像の間のマルチ粒度アラインメントを構築します。第二に、新規物体をベース物体との密な意味的対応関係によって部分に解析します。これら2つの設計により、検出器は様々なデータソースと基盤モデルから大きな恩恵を受けることが可能になります。オープンな語彙の部分セグメンテーション実験では、PartImageNetにおけるクロスデータセット汎化においてベースラインを3.3～7.3 mAP上回り、Pascal Partにおけるクロスカテゴリ汎化では7.3 novel AP_{50}の改善を達成しました。最後に、広範囲の部分セグメンテーションデータセットに汎化しつつ、データセット固有の学習よりも優れた性能を実現する検出器を学習しました。
English
Object detection has been expanded from a limited number of categories to
open vocabulary. Moving forward, a complete intelligent vision system requires
understanding more fine-grained object descriptions, object parts. In this
paper, we propose a detector with the ability to predict both open-vocabulary
objects and their part segmentation. This ability comes from two designs.
First, we train the detector on the joint of part-level, object-level and
image-level data to build the multi-granularity alignment between language and
image. Second, we parse the novel object into its parts by its dense semantic
correspondence with the base object. These two designs enable the detector to
largely benefit from various data sources and foundation models. In
open-vocabulary part segmentation experiments, our method outperforms the
baseline by 3.3sim7.3 mAP in cross-dataset generalization on PartImageNet,
and improves the baseline by 7.3 novel AP_{50} in cross-category
generalization on Pascal Part. Finally, we train a detector that generalizes to
a wide range of part segmentation datasets while achieving better performance
than dataset-specific training.