Drei Türme: Flexibles kontrastives Lernen mit vortrainierten Bildmodellen

Three Towers: Flexible Contrastive Learning with Pretrained Image Models

May 26, 2023

Autoren: Jannik Kossen, Mark Collier, Basil Mustafa, Xiao Wang, Xiaohua Zhai, Lucas Beyer, Andreas Steiner, Jesse Berent, Rodolphe Jenatton, Efi Kokiopoulou

cs.AI

Zusammenfassung

Wir stellen Three Towers (3T) vor, eine flexible Methode zur Verbesserung des kontrastiven Lernens von Vision-Sprache-Modellen durch die Einbindung vortrainierter Bildklassifikatoren. Während kontrastive Modelle üblicherweise von Grund auf trainiert werden, hat LiT (Zhai et al., 2022) kürzlich gezeigt, dass die Verwendung vortrainierter Klassifikator-Einbettungen Leistungssteigerungen bringt. Allerdings ersetzt LiT den Bildturm direkt durch die eingefrorenen Einbettungen, wodurch potenzielle Vorteile des kontrastiven Trainings des Bildturms ausgeschlossen werden. Mit 3T schlagen wir eine flexiblere Strategie vor, die es dem Bildturm ermöglicht, sowohl von vortrainierten Einbettungen als auch vom kontrastiven Training zu profitieren. Um dies zu erreichen, führen wir einen dritten Turm ein, der die eingefrorenen vortrainierten Einbettungen enthält, und fördern die Ausrichtung zwischen diesem dritten Turm und den Haupt-Bild-Text-Türmen. Empirisch verbessert 3T durchgängig die Leistung gegenüber LiT und der CLIP-artigen Baseline, die von Grund auf trainiert wird, bei Retrieval-Aufgaben. Bei der Klassifikation übertrifft 3T zuverlässig die von-Grund-auf-Baseline, und während es im Vergleich zu LiT bei JFT-vortrainierten Modellen schlechter abschneidet, übertrifft es LiT bei ImageNet-21k und Places365 Vortraining.

English

We introduce Three Towers (3T), a flexible method to improve the contrastive learning of vision-language models by incorporating pretrained image classifiers. While contrastive models are usually trained from scratch, LiT (Zhai et al., 2022) has recently shown performance gains from using pretrained classifier embeddings. However, LiT directly replaces the image tower with the frozen embeddings, excluding any potential benefits of contrastively training the image tower. With 3T, we propose a more flexible strategy that allows the image tower to benefit from both pretrained embeddings and contrastive training. To achieve this, we introduce a third tower that contains the frozen pretrained embeddings, and we encourage alignment between this third tower and the main image-text towers. Empirically, 3T consistently improves over LiT and the CLIP-style from-scratch baseline for retrieval tasks. For classification, 3T reliably improves over the from-scratch baseline, and while it underperforms relative to LiT for JFT-pretrained models, it outperforms LiT for ImageNet-21k and Places365 pretraining.