Trois Tours : Apprentissage Contrastif Flexible avec des Modèles d'Images Préentraînés

Résumé

Nous présentons Three Towers (3T), une méthode flexible pour améliorer l'apprentissage contrastif des modèles vision-langage en intégrant des classificateurs d'images pré-entraînés. Alors que les modèles contrastifs sont généralement entraînés à partir de zéro, LiT (Zhai et al., 2022) a récemment démontré des gains de performance en utilisant des embeddings de classificateurs pré-entraînés. Cependant, LiT remplace directement la tour d'images par ces embeddings figés, excluant ainsi les bénéfices potentiels d'un entraînement contrastif de la tour d'images. Avec 3T, nous proposons une stratégie plus flexible qui permet à la tour d'images de bénéficier à la fois des embeddings pré-entraînés et de l'entraînement contrastif. Pour y parvenir, nous introduisons une troisième tour contenant les embeddings pré-entraînés figés, et nous encourageons l'alignement entre cette troisième tour et les tours principales image-texte. Empiriquement, 3T améliore systématiquement les performances par rapport à LiT et à la base de référence de type CLIP entraînée à partir de zéro pour les tâches de recherche. Pour la classification, 3T améliore de manière fiable les résultats par rapport à la base de référence entraînée à partir de zéro, et bien qu'il soit moins performant que LiT pour les modèles pré-entraînés sur JFT, il surpasse LiT pour les pré-entraînements sur ImageNet-21k et Places365.

English

We introduce Three Towers (3T), a flexible method to improve the contrastive learning of vision-language models by incorporating pretrained image classifiers. While contrastive models are usually trained from scratch, LiT (Zhai et al., 2022) has recently shown performance gains from using pretrained classifier embeddings. However, LiT directly replaces the image tower with the frozen embeddings, excluding any potential benefits of contrastively training the image tower. With 3T, we propose a more flexible strategy that allows the image tower to benefit from both pretrained embeddings and contrastive training. To achieve this, we introduce a third tower that contains the frozen pretrained embeddings, and we encourage alignment between this third tower and the main image-text towers. Empirically, 3T consistently improves over LiT and the CLIP-style from-scratch baseline for retrieval tasks. For classification, 3T reliably improves over the from-scratch baseline, and while it underperforms relative to LiT for JFT-pretrained models, it outperforms LiT for ImageNet-21k and Places365 pretraining.

Trois Tours : Apprentissage Contrastif Flexible avec des Modèles d'Images Préentraînés

Three Towers: Flexible Contrastive Learning with Pretrained Image Models

Résumé

Support