Transformador de Visão com Mascaramento de Características Contrastantes para Vocabulário Aberto

Contrastive Feature Masking Open-Vocabulary Vision Transformer

September 2, 2023

Autores: Dahun Kim, Anelia Angelova, Weicheng Kuo

cs.AI

Resumo

Apresentamos o Contrastive Feature Masking Vision Transformer (CFM-ViT) - uma metodologia de pré-treinamento de imagem-texto que alcança a aprendizagem simultânea de representações em nível de imagem e de região para detecção de objetos de vocabulário aberto (OVD). Nossa abordagem combina o objetivo do autoencoder mascarado (MAE) com o objetivo de aprendizagem contrastiva para melhorar a representação em tarefas de localização. Diferentemente do MAE padrão, realizamos a reconstrução no espaço de incorporação conjunta de imagem-texto, em vez do espaço de pixels, como é comum no método MAE clássico, o que faz com que o modelo aprenda melhor a semântica em nível de região. Além disso, introduzimos o Positional Embedding Dropout (PED) para lidar com a variação de escala entre o pré-treinamento de imagem-texto e o ajuste fino de detecção, descartando aleatoriamente as incorporações posicionais durante o pré-treinamento. O PED melhora o desempenho de detecção e permite o uso de um backbone ViT congelado como classificador de região, evitando o esquecimento do conhecimento de vocabulário aberto durante o ajuste fino de detecção. No benchmark de detecção de vocabulário aberto LVIS, o CFM-ViT alcança um estado da arte de 33,9 APr, superando a melhor abordagem em 7,6 pontos e obtendo uma melhor transferência de detecção zero-shot. Por fim, o CFM-ViT adquire uma forte representação em nível de imagem, superando o estado da arte em 8 de 12 métricas em benchmarks de recuperação de imagem-texto zero-shot.

English

We present Contrastive Feature Masking Vision Transformer (CFM-ViT) - an image-text pretraining methodology that achieves simultaneous learning of image- and region-level representation for open-vocabulary object detection (OVD). Our approach combines the masked autoencoder (MAE) objective into the contrastive learning objective to improve the representation for localization tasks. Unlike standard MAE, we perform reconstruction in the joint image-text embedding space, rather than the pixel space as is customary with the classical MAE method, which causes the model to better learn region-level semantics. Moreover, we introduce Positional Embedding Dropout (PED) to address scale variation between image-text pretraining and detection finetuning by randomly dropping out the positional embeddings during pretraining. PED improves detection performance and enables the use of a frozen ViT backbone as a region classifier, preventing the forgetting of open-vocabulary knowledge during detection finetuning. On LVIS open-vocabulary detection benchmark, CFM-ViT achieves a state-of-the-art 33.9 APr, surpassing the best approach by 7.6 points and achieves better zero-shot detection transfer. Finally, CFM-ViT acquires strong image-level representation, outperforming the state of the art on 8 out of 12 metrics on zero-shot image-text retrieval benchmarks.