Drie Torens: Flexibel Contrastief Leren met Voorgetrainde Beeldmodellen

Three Towers: Flexible Contrastive Learning with Pretrained Image Models

May 26, 2023

Auteurs: Jannik Kossen, Mark Collier, Basil Mustafa, Xiao Wang, Xiaohua Zhai, Lucas Beyer, Andreas Steiner, Jesse Berent, Rodolphe Jenatton, Efi Kokiopoulou

cs.AI

Samenvatting

We introduceren Three Towers (3T), een flexibele methode om het contrastief leren van visie-taalmodelen te verbeteren door voorgetrainde beeldclassificatoren te integreren. Hoewel contrastieve modellen meestal vanaf nul worden getraind, heeft LiT (Zhai et al., 2022) recentelijk prestatieverbeteringen laten zien door gebruik te maken van voorgetrainde classificator-embeddings. LiT vervangt echter direct de beeldtoren met de bevroren embeddings, waardoor mogelijke voordelen van contrastief trainen van de beeldtoren worden uitgesloten. Met 3T stellen we een flexibelere strategie voor die de beeldtoren in staat stelt te profiteren van zowel voorgetrainde embeddings als contrastief trainen. Om dit te bereiken, introduceren we een derde toren die de bevroren voorgetrainde embeddings bevat, en we stimuleren afstemming tussen deze derde toren en de belangrijkste beeld-teksttorens. Empirisch gezien verbetert 3T consistent ten opzichte van LiT en de CLIP-stijl baseline vanaf nul voor retrievalthandelingen. Voor classificatie verbetert 3T betrouwbaar ten opzichte van de baseline vanaf nul, en hoewel het onderpresteert in vergelijking met LiT voor JFT-voorgetrainde modellen, overtreft het LiT voor ImageNet-21k en Places365-voorpretraining.

English

We introduce Three Towers (3T), a flexible method to improve the contrastive learning of vision-language models by incorporating pretrained image classifiers. While contrastive models are usually trained from scratch, LiT (Zhai et al., 2022) has recently shown performance gains from using pretrained classifier embeddings. However, LiT directly replaces the image tower with the frozen embeddings, excluding any potential benefits of contrastively training the image tower. With 3T, we propose a more flexible strategy that allows the image tower to benefit from both pretrained embeddings and contrastive training. To achieve this, we introduce a third tower that contains the frozen pretrained embeddings, and we encourage alignment between this third tower and the main image-text towers. Empirically, 3T consistently improves over LiT and the CLIP-style from-scratch baseline for retrieval tasks. For classification, 3T reliably improves over the from-scratch baseline, and while it underperforms relative to LiT for JFT-pretrained models, it outperforms LiT for ImageNet-21k and Places365 pretraining.