Tres Torres: Aprendizaje Contrastivo Flexible con Modelos de Imágenes Preentrenados

Three Towers: Flexible Contrastive Learning with Pretrained Image Models

May 26, 2023

Autores: Jannik Kossen, Mark Collier, Basil Mustafa, Xiao Wang, Xiaohua Zhai, Lucas Beyer, Andreas Steiner, Jesse Berent, Rodolphe Jenatton, Efi Kokiopoulou

cs.AI

Resumen

Presentamos Three Towers (3T), un método flexible para mejorar el aprendizaje contrastivo de modelos de visión y lenguaje mediante la incorporación de clasificadores de imágenes preentrenados. Aunque los modelos contrastivos suelen entrenarse desde cero, LiT (Zhai et al., 2022) ha demostrado recientemente mejoras en el rendimiento al utilizar embeddings de clasificadores preentrenados. Sin embargo, LiT reemplaza directamente la torre de imágenes con los embeddings congelados, excluyendo cualquier beneficio potencial del entrenamiento contrastivo de la torre de imágenes. Con 3T, proponemos una estrategia más flexible que permite que la torre de imágenes se beneficie tanto de los embeddings preentrenados como del entrenamiento contrastivo. Para lograrlo, introducimos una tercera torre que contiene los embeddings preentrenados congelados, y fomentamos la alineación entre esta tercera torre y las torres principales de imagen y texto. Empíricamente, 3T mejora consistentemente sobre LiT y la línea base de estilo CLIP entrenada desde cero en tareas de recuperación. Para clasificación, 3T mejora de manera confiable sobre la línea base entrenada desde cero, y aunque tiene un rendimiento inferior en comparación con LiT para modelos preentrenados con JFT, supera a LiT en preentrenamientos con ImageNet-21k y Places365.

English

We introduce Three Towers (3T), a flexible method to improve the contrastive learning of vision-language models by incorporating pretrained image classifiers. While contrastive models are usually trained from scratch, LiT (Zhai et al., 2022) has recently shown performance gains from using pretrained classifier embeddings. However, LiT directly replaces the image tower with the frozen embeddings, excluding any potential benefits of contrastively training the image tower. With 3T, we propose a more flexible strategy that allows the image tower to benefit from both pretrained embeddings and contrastive training. To achieve this, we introduce a third tower that contains the frozen pretrained embeddings, and we encourage alignment between this third tower and the main image-text towers. Empirically, 3T consistently improves over LiT and the CLIP-style from-scratch baseline for retrieval tasks. For classification, 3T reliably improves over the from-scratch baseline, and while it underperforms relative to LiT for JFT-pretrained models, it outperforms LiT for ImageNet-21k and Places365 pretraining.