Контрастное маскирование признаков в Vision Transformer с открытым словарём

Contrastive Feature Masking Open-Vocabulary Vision Transformer

September 2, 2023

Авторы: Dahun Kim, Anelia Angelova, Weicheng Kuo

cs.AI

Аннотация

Мы представляем Contrastive Feature Masking Vision Transformer (CFM-ViT) — метод предварительного обучения на основе изображений и текста, который обеспечивает одновременное изучение представлений на уровне изображений и регионов для задачи обнаружения объектов с открытым словарём (OVD). Наш подход объединяет цель маскированного автокодировщика (MAE) с целью контрастивного обучения для улучшения представлений, используемых в задачах локализации. В отличие от стандартного MAE, мы выполняем реконструкцию в совместном пространстве встраивания изображений и текста, а не в пространстве пикселей, как это принято в классическом методе MAE, что позволяет модели лучше изучать семантику на уровне регионов. Кроме того, мы вводим Positional Embedding Dropout (PED) для решения проблемы вариации масштаба между предварительным обучением на изображениях и текстах и тонкой настройкой для обнаружения, случайным образом исключая позиционные вложения во время предварительного обучения. PED улучшает производительность обнаружения и позволяет использовать замороженный ViT в качестве классификатора регионов, предотвращая забывание знаний с открытым словарём во время тонкой настройки для обнаружения. На бенчмарке LVIS для обнаружения с открытым словарём CFM-ViT достигает наилучшего результата в 33.9 APr, превосходя лучший подход на 7.6 пунктов и демонстрируя лучший перенос для нулевого обнаружения. Наконец, CFM-ViT демонстрирует сильное представление на уровне изображений, превосходя современные методы по 8 из 12 метрик на бенчмарках нулевого поиска изображений и текста.

English

We present Contrastive Feature Masking Vision Transformer (CFM-ViT) - an image-text pretraining methodology that achieves simultaneous learning of image- and region-level representation for open-vocabulary object detection (OVD). Our approach combines the masked autoencoder (MAE) objective into the contrastive learning objective to improve the representation for localization tasks. Unlike standard MAE, we perform reconstruction in the joint image-text embedding space, rather than the pixel space as is customary with the classical MAE method, which causes the model to better learn region-level semantics. Moreover, we introduce Positional Embedding Dropout (PED) to address scale variation between image-text pretraining and detection finetuning by randomly dropping out the positional embeddings during pretraining. PED improves detection performance and enables the use of a frozen ViT backbone as a region classifier, preventing the forgetting of open-vocabulary knowledge during detection finetuning. On LVIS open-vocabulary detection benchmark, CFM-ViT achieves a state-of-the-art 33.9 APr, surpassing the best approach by 7.6 points and achieves better zero-shot detection transfer. Finally, CFM-ViT acquires strong image-level representation, outperforming the state of the art on 8 out of 12 metrics on zero-shot image-text retrieval benchmarks.