Trasformatore Visivo a Vocabolario Aperto con Mascheramento Contrastivo delle Caratteristiche

Contrastive Feature Masking Open-Vocabulary Vision Transformer

September 2, 2023

Autori: Dahun Kim, Anelia Angelova, Weicheng Kuo

cs.AI

Abstract

Presentiamo Contrastive Feature Masking Vision Transformer (CFM-ViT), una metodologia di pre-addestramento immagine-testo che consente l'apprendimento simultaneo di rappresentazioni a livello di immagine e di regione per il rilevamento di oggetti a vocabolario aperto (OVD). Il nostro approccio combina l'obiettivo del masked autoencoder (MAE) con quello dell'apprendimento contrastivo per migliorare la rappresentazione per compiti di localizzazione. A differenza del MAE standard, eseguiamo la ricostruzione nello spazio di embedding congiunto immagine-testo, anziché nello spazio dei pixel come avviene nel metodo MAE classico, il che consente al modello di apprendere meglio la semantica a livello di regione. Inoltre, introduciamo il Positional Embedding Dropout (PED) per affrontare la variazione di scala tra il pre-addestramento immagine-testo e il fine-tuning per il rilevamento, eliminando casualmente gli embedding posizionali durante il pre-addestramento. Il PED migliora le prestazioni di rilevamento e consente l'uso di un backbone ViT congelato come classificatore di regione, prevenendo la perdita di conoscenza a vocabolario aperto durante il fine-tuning per il rilevamento. Sul benchmark LVIS per il rilevamento a vocabolario aperto, CFM-ViT raggiunge uno stato dell'arte di 33.9 APr, superando il miglior approccio di 7.6 punti e ottenendo un migliore trasferimento di rilevamento zero-shot. Infine, CFM-ViT acquisisce una forte rappresentazione a livello di immagine, superando lo stato dell'arte su 8 delle 12 metriche nei benchmark di recupero immagine-testo zero-shot.

English

We present Contrastive Feature Masking Vision Transformer (CFM-ViT) - an image-text pretraining methodology that achieves simultaneous learning of image- and region-level representation for open-vocabulary object detection (OVD). Our approach combines the masked autoencoder (MAE) objective into the contrastive learning objective to improve the representation for localization tasks. Unlike standard MAE, we perform reconstruction in the joint image-text embedding space, rather than the pixel space as is customary with the classical MAE method, which causes the model to better learn region-level semantics. Moreover, we introduce Positional Embedding Dropout (PED) to address scale variation between image-text pretraining and detection finetuning by randomly dropping out the positional embeddings during pretraining. PED improves detection performance and enables the use of a frozen ViT backbone as a region classifier, preventing the forgetting of open-vocabulary knowledge during detection finetuning. On LVIS open-vocabulary detection benchmark, CFM-ViT achieves a state-of-the-art 33.9 APr, surpassing the best approach by 7.6 points and achieves better zero-shot detection transfer. Finally, CFM-ViT acquires strong image-level representation, outperforming the state of the art on 8 out of 12 metrics on zero-shot image-text retrieval benchmarks.