Tre Torri: Apprendimento Contrastivo Flessibile con Modelli di Immagini Pre-addestrati

Three Towers: Flexible Contrastive Learning with Pretrained Image Models

May 26, 2023

Autori: Jannik Kossen, Mark Collier, Basil Mustafa, Xiao Wang, Xiaohua Zhai, Lucas Beyer, Andreas Steiner, Jesse Berent, Rodolphe Jenatton, Efi Kokiopoulou

cs.AI

Abstract

Introduciamo Three Towers (3T), un metodo flessibile per migliorare l'apprendimento contrastivo dei modelli visione-linguaggio incorporando classificatori di immagini pre-addestrati. Mentre i modelli contrastivi sono solitamente addestrati da zero, LiT (Zhai et al., 2022) ha recentemente dimostrato miglioramenti nelle prestazioni utilizzando embedding di classificatori pre-addestrati. Tuttavia, LiT sostituisce direttamente la torre delle immagini con gli embedding congelati, escludendo potenziali benefici derivanti dall'addestramento contrastivo della torre delle immagini. Con 3T, proponiamo una strategia più flessibile che consente alla torre delle immagini di beneficiare sia degli embedding pre-addestrati che dell'addestramento contrastivo. Per raggiungere questo obiettivo, introduciamo una terza torre che contiene gli embedding pre-addestrati congelati, e incoraggiamo l'allineamento tra questa terza torre e le principali torri immagine-testo. Empiricamente, 3T migliora costantemente rispetto a LiT e alla baseline CLIP-style addestrata da zero per i task di retrieval. Per la classificazione, 3T migliora in modo affidabile rispetto alla baseline addestrata da zero, e sebbene sia inferiore rispetto a LiT per i modelli pre-addestrati su JFT, supera LiT per i modelli pre-addestrati su ImageNet-21k e Places365.

English

We introduce Three Towers (3T), a flexible method to improve the contrastive learning of vision-language models by incorporating pretrained image classifiers. While contrastive models are usually trained from scratch, LiT (Zhai et al., 2022) has recently shown performance gains from using pretrained classifier embeddings. However, LiT directly replaces the image tower with the frozen embeddings, excluding any potential benefits of contrastively training the image tower. With 3T, we propose a more flexible strategy that allows the image tower to benefit from both pretrained embeddings and contrastive training. To achieve this, we introduce a third tower that contains the frozen pretrained embeddings, and we encourage alignment between this third tower and the main image-text towers. Empirically, 3T consistently improves over LiT and the CLIP-style from-scratch baseline for retrieval tasks. For classification, 3T reliably improves over the from-scratch baseline, and while it underperforms relative to LiT for JFT-pretrained models, it outperforms LiT for ImageNet-21k and Places365 pretraining.