3つのタワー：事前学習済み画像モデルを用いた柔軟なコントラスティブ学習

要旨

我々は、事前学習済み画像分類器を組み込むことで視覚言語モデルの対照学習を改善する柔軟な手法「Three Towers (3T)」を提案する。対照モデルは通常ゼロから訓練されるが、LiT (Zhai et al., 2022) は最近、事前学習済み分類器の埋め込みを利用することで性能向上を示した。しかし、LiT は画像タワーを凍結された埋め込みに直接置き換えており、画像タワーを対照的に訓練する潜在的な利点を排除している。3T では、画像タワーが事前学習済み埋め込みと対照訓練の両方の恩恵を受けられる、より柔軟な戦略を提案する。これを実現するため、凍結された事前学習済み埋め込みを含む第3のタワーを導入し、この第3タワーと主要な画像-テキストタワー間の整合を促進する。実験的に、3T は検索タスクにおいて LiT や CLIP スタイルのゼロから学習ベースラインを一貫して上回る。分類タスクでは、3T はゼロから学習ベースラインを確実に改善し、JFT 事前学習モデルでは LiT に及ばないものの、ImageNet-21k および Places365 事前学習では LiT を上回る性能を示す。

English

We introduce Three Towers (3T), a flexible method to improve the contrastive learning of vision-language models by incorporating pretrained image classifiers. While contrastive models are usually trained from scratch, LiT (Zhai et al., 2022) has recently shown performance gains from using pretrained classifier embeddings. However, LiT directly replaces the image tower with the frozen embeddings, excluding any potential benefits of contrastively training the image tower. With 3T, we propose a more flexible strategy that allows the image tower to benefit from both pretrained embeddings and contrastive training. To achieve this, we introduce a third tower that contains the frozen pretrained embeddings, and we encourage alignment between this third tower and the main image-text towers. Empirically, 3T consistently improves over LiT and the CLIP-style from-scratch baseline for retrieval tasks. For classification, 3T reliably improves over the from-scratch baseline, and while it underperforms relative to LiT for JFT-pretrained models, it outperforms LiT for ImageNet-21k and Places365 pretraining.

3つのタワー：事前学習済み画像モデルを用いた柔軟なコントラスティブ学習

Three Towers: Flexible Contrastive Learning with Pretrained Image Models

要旨

Support