Повышение плотности при сегментации частей с открытым словарём
Going Denser with Open-Vocabulary Part Segmentation
May 18, 2023
Авторы: Peize Sun, Shoufa Chen, Chenchen Zhu, Fanyi Xiao, Ping Luo, Saining Xie, Zhicheng Yan
cs.AI
Аннотация
Обнаружение объектов расширилось от ограниченного числа категорий до открытого словаря. Для создания полноценной интеллектуальной системы компьютерного зрения требуется понимание более детализированных описаний объектов, включая их части. В данной статье мы предлагаем детектор, способный предсказывать как объекты с открытым словарем, так и их сегментацию на части. Эта способность достигается благодаря двум ключевым решениям. Во-первых, мы обучаем детектор на объединенных данных уровня частей, уровня объектов и уровня изображений, чтобы установить многогранулярное соответствие между языком и изображением. Во-вторых, мы анализируем новый объект, разбивая его на части на основе плотной семантической связи с базовым объектом. Эти два подхода позволяют детектору значительно выигрывать от использования различных источников данных и базовых моделей. В экспериментах по сегментации частей с открытым словарем наш метод превосходит базовый подход на 3,3–7,3 mAP в кросс-датасетной генерализации на PartImageNet и улучшает базовый результат на 7,3 novel AP_{50} в кросс-категориальной генерализации на Pascal Part. В итоге мы обучаем детектор, который обобщается на широкий спектр наборов данных для сегментации частей, демонстрируя при этом более высокую производительность, чем обучение, специфичное для конкретного набора данных.
English
Object detection has been expanded from a limited number of categories to
open vocabulary. Moving forward, a complete intelligent vision system requires
understanding more fine-grained object descriptions, object parts. In this
paper, we propose a detector with the ability to predict both open-vocabulary
objects and their part segmentation. This ability comes from two designs.
First, we train the detector on the joint of part-level, object-level and
image-level data to build the multi-granularity alignment between language and
image. Second, we parse the novel object into its parts by its dense semantic
correspondence with the base object. These two designs enable the detector to
largely benefit from various data sources and foundation models. In
open-vocabulary part segmentation experiments, our method outperforms the
baseline by 3.3sim7.3 mAP in cross-dataset generalization on PartImageNet,
and improves the baseline by 7.3 novel AP_{50} in cross-category
generalization on Pascal Part. Finally, we train a detector that generalizes to
a wide range of part segmentation datasets while achieving better performance
than dataset-specific training.