SILC: Verbesserung des Vision-Language-Pretrainings durch Selbst-Distillation

SILC: Improving Vision Language Pretraining with Self-Distillation

October 20, 2023

Autoren: Muhammad Ferjad Naeem, Yongqin Xian, Xiaohua Zhai, Lukas Hoyer, Luc Van Gool, Federico Tombari

cs.AI

Zusammenfassung

Das Pretraining von Bild-Text-Modellen auf Web-Scale-Bildunterschriftendatensätzen hat sich dank des Erfolgs von CLIP und seiner Varianten zum Standardverfahren für Modelle zur offenen Vokabular-Klassifikation und -Retrieval entwickelt. Mehrere Arbeiten haben auch CLIP-Features für dichte Vorhersageaufgaben verwendet und das Entstehen von Open-Set-Fähigkeiten gezeigt. Allerdings konzentriert sich das kontrastive Ziel nur auf die Bild-Text-Ausrichtung und fördert nicht das Lernen von Bildfeatures für dichte Vorhersageaufgaben. In dieser Arbeit schlagen wir die einfache Ergänzung des Lernens von lokaler-zu-globaler Korrespondenz durch Selbst-Distillation als zusätzliches Ziel für das kontrastive Pretraining vor, um SILC zu entwickeln. Wir zeigen, dass die Destillation lokaler Bildfeatures aus einem exponentiell gleitenden Durchschnittsmodell (EMA) die Modellleistung bei mehreren Computer-Vision-Aufgaben, einschließlich Klassifikation, Retrieval und insbesondere Segmentierung, erheblich verbessert. Weiterhin zeigen wir, dass SILC bei gleicher Trainingsdauer besser skaliert als die Baseline-Modelle. Unser Modell SILC setzt neue Maßstäbe für Zero-Shot-Klassifikation, Few-Shot-Klassifikation, Bild- und Text-Retrieval, Zero-Shot-Segmentierung und Open-Vocabulary-Segmentierung.

English

Image-Text pretraining on web-scale image caption dataset has become the default recipe for open vocabulary classification and retrieval models thanks to the success of CLIP and its variants. Several works have also used CLIP features for dense prediction tasks and have shown the emergence of open-set abilities. However, the contrastive objective only focuses on image-text alignment and does not incentivise image feature learning for dense prediction tasks. In this work, we propose the simple addition of local-to-global correspondence learning by self-distillation as an additional objective for contrastive pre-training to propose SILC. We show that distilling local image features from an exponential moving average (EMA) teacher model significantly improves model performance on several computer vision tasks including classification, retrieval, and especially segmentation. We further show that SILC scales better with the same training duration compared to the baselines. Our model SILC sets a new state of the art for zero-shot classification, few shot classification, image and text retrieval, zero-shot segmentation, and open vocabulary segmentation.