Três Torres: Aprendizado Contrastivo Flexível com Modelos de Imagem Pré-treinados

Three Towers: Flexible Contrastive Learning with Pretrained Image Models

May 26, 2023

Autores: Jannik Kossen, Mark Collier, Basil Mustafa, Xiao Wang, Xiaohua Zhai, Lucas Beyer, Andreas Steiner, Jesse Berent, Rodolphe Jenatton, Efi Kokiopoulou

cs.AI

Resumo

Apresentamos o Three Towers (3T), um método flexível para aprimorar o aprendizado contrastivo de modelos de visão e linguagem ao incorporar classificadores de imagem pré-treinados. Embora os modelos contrastivos sejam geralmente treinados do zero, o LiT (Zhai et al., 2022) demonstrou recentemente ganhos de desempenho ao utilizar embeddings de classificadores pré-treinados. No entanto, o LiT substitui diretamente a torre de imagem pelos embeddings congelados, excluindo quaisquer benefícios potenciais do treinamento contrastivo da torre de imagem. Com o 3T, propomos uma estratégia mais flexível que permite que a torre de imagem se beneficie tanto dos embeddings pré-treinados quanto do treinamento contrastivo. Para isso, introduzimos uma terceira torre que contém os embeddings pré-treinados congelados, e incentivamos o alinhamento entre essa terceira torre e as principais torres de imagem e texto. Empiricamente, o 3T consistentemente supera o LiT e a linha de base estilo CLIP treinada do zero em tarefas de recuperação. Para classificação, o 3T melhora de forma confiável em relação à linha de base treinada do zero, e embora tenha desempenho inferior ao LiT para modelos pré-treinados com JFT, ele supera o LiT para pré-treinamento com ImageNet-21k e Places365.

English

We introduce Three Towers (3T), a flexible method to improve the contrastive learning of vision-language models by incorporating pretrained image classifiers. While contrastive models are usually trained from scratch, LiT (Zhai et al., 2022) has recently shown performance gains from using pretrained classifier embeddings. However, LiT directly replaces the image tower with the frozen embeddings, excluding any potential benefits of contrastively training the image tower. With 3T, we propose a more flexible strategy that allows the image tower to benefit from both pretrained embeddings and contrastive training. To achieve this, we introduce a third tower that contains the frozen pretrained embeddings, and we encourage alignment between this third tower and the main image-text towers. Empirically, 3T consistently improves over LiT and the CLIP-style from-scratch baseline for retrieval tasks. For classification, 3T reliably improves over the from-scratch baseline, and while it underperforms relative to LiT for JFT-pretrained models, it outperforms LiT for ImageNet-21k and Places365 pretraining.