Три Башни: Гибкое контрастное обучение с использованием предобученных моделей для изображений

Three Towers: Flexible Contrastive Learning with Pretrained Image Models

May 26, 2023

Авторы: Jannik Kossen, Mark Collier, Basil Mustafa, Xiao Wang, Xiaohua Zhai, Lucas Beyer, Andreas Steiner, Jesse Berent, Rodolphe Jenatton, Efi Kokiopoulou

cs.AI

Аннотация

Мы представляем Three Towers (3T) — гибкий метод для улучшения контрастивного обучения моделей, работающих с визуальными и текстовыми данными, за счет включения предобученных классификаторов изображений. Хотя контрастивные модели обычно обучаются с нуля, недавно метод LiT (Zhai et al., 2022) продемонстрировал улучшение производительности за счет использования предобученных эмбеддингов классификаторов. Однако LiT напрямую заменяет башню изображений замороженными эмбеддингами, исключая потенциальные преимущества контрастивного обучения башни изображений. В 3T мы предлагаем более гибкую стратегию, которая позволяет башне изображений извлекать пользу как из предобученных эмбеддингов, так и из контрастивного обучения. Для этого мы вводим третью башню, содержащую замороженные предобученные эмбеддинги, и стимулируем согласование между этой третьей башней и основными башнями изображений и текста. Эмпирически 3T стабильно превосходит LiT и базовый подход CLIP, обучаемый с нуля, в задачах поиска. В задачах классификации 3T надежно улучшает результаты по сравнению с базовым подходом, обучаемым с нуля, и, хотя он уступает LiT для моделей, предобученных на JFT, он превосходит LiT для предобучения на ImageNet-21k и Places365.

English

We introduce Three Towers (3T), a flexible method to improve the contrastive learning of vision-language models by incorporating pretrained image classifiers. While contrastive models are usually trained from scratch, LiT (Zhai et al., 2022) has recently shown performance gains from using pretrained classifier embeddings. However, LiT directly replaces the image tower with the frozen embeddings, excluding any potential benefits of contrastively training the image tower. With 3T, we propose a more flexible strategy that allows the image tower to benefit from both pretrained embeddings and contrastive training. To achieve this, we introduce a third tower that contains the frozen pretrained embeddings, and we encourage alignment between this third tower and the main image-text towers. Empirically, 3T consistently improves over LiT and the CLIP-style from-scratch baseline for retrieval tasks. For classification, 3T reliably improves over the from-scratch baseline, and while it underperforms relative to LiT for JFT-pretrained models, it outperforms LiT for ImageNet-21k and Places365 pretraining.