Avançando para uma Maior Densidade na Segmentação de Partes com Vocabulário Aberto
Going Denser with Open-Vocabulary Part Segmentation
May 18, 2023
Autores: Peize Sun, Shoufa Chen, Chenchen Zhu, Fanyi Xiao, Ping Luo, Saining Xie, Zhicheng Yan
cs.AI
Resumo
A detecção de objetos foi expandida de um número limitado de categorias para vocabulário aberto. Avançando, um sistema de visão inteligente completo requer a compreensão de descrições de objetos mais refinadas e de partes de objetos. Neste artigo, propomos um detector com a capacidade de prever tanto objetos de vocabulário aberto quanto sua segmentação de partes. Essa capacidade vem de dois designs. Primeiro, treinamos o detector na junção de dados em nível de parte, nível de objeto e nível de imagem para construir o alinhamento multigranular entre linguagem e imagem. Segundo, analisamos o novo objeto em suas partes por meio de sua correspondência semântica densa com o objeto base. Esses dois designs permitem que o detector se beneficie amplamente de várias fontes de dados e modelos fundamentais. Nos experimentos de segmentação de partes de vocabulário aberto, nosso método supera a linha de base em 3,3 a 7,3 mAP na generalização entre conjuntos de dados no PartImageNet, e melhora a linha de base em 7,3 AP_{50} na generalização entre categorias no Pascal Part. Por fim, treinamos um detector que generaliza para uma ampla gama de conjuntos de dados de segmentação de partes, ao mesmo tempo em que alcança um desempenho melhor do que o treinamento específico para cada conjunto de dados.
English
Object detection has been expanded from a limited number of categories to
open vocabulary. Moving forward, a complete intelligent vision system requires
understanding more fine-grained object descriptions, object parts. In this
paper, we propose a detector with the ability to predict both open-vocabulary
objects and their part segmentation. This ability comes from two designs.
First, we train the detector on the joint of part-level, object-level and
image-level data to build the multi-granularity alignment between language and
image. Second, we parse the novel object into its parts by its dense semantic
correspondence with the base object. These two designs enable the detector to
largely benefit from various data sources and foundation models. In
open-vocabulary part segmentation experiments, our method outperforms the
baseline by 3.3sim7.3 mAP in cross-dataset generalization on PartImageNet,
and improves the baseline by 7.3 novel AP_{50} in cross-category
generalization on Pascal Part. Finally, we train a detector that generalizes to
a wide range of part segmentation datasets while achieving better performance
than dataset-specific training.