SILC : Amélioration du pré-entraînement vision-langage par auto-distillation

SILC: Improving Vision Language Pretraining with Self-Distillation

October 20, 2023

Auteurs: Muhammad Ferjad Naeem, Yongqin Xian, Xiaohua Zhai, Lukas Hoyer, Luc Van Gool, Federico Tombari

cs.AI

Résumé

Le pré-entraînement image-texte sur des ensembles de données à grande échelle de légendes d'images est devenu la méthode standard pour les modèles de classification et de recherche à vocabulaire ouvert, grâce au succès de CLIP et de ses variantes. Plusieurs travaux ont également utilisé les caractéristiques de CLIP pour des tâches de prédiction dense et ont montré l'émergence de capacités en ensemble ouvert. Cependant, l'objectif contrastif se concentre uniquement sur l'alignement image-texte et n'encourage pas l'apprentissage de caractéristiques d'images pour les tâches de prédiction dense. Dans ce travail, nous proposons l'ajout simple de l'apprentissage de correspondances locales à globales par auto-distillation comme objectif supplémentaire pour le pré-entraînement contrastif, introduisant ainsi SILC. Nous montrons que la distillation de caractéristiques locales d'images à partir d'un modèle enseignant à moyenne mobile exponentielle (EMA) améliore significativement les performances du modèle sur plusieurs tâches de vision par ordinateur, notamment la classification, la recherche, et surtout la segmentation. Nous montrons en outre que SILC s'adapte mieux à la même durée d'entraînement par rapport aux modèles de référence. Notre modèle SILC établit un nouvel état de l'art pour la classification zero-shot, la classification few-shot, la recherche d'images et de texte, la segmentation zero-shot, et la segmentation à vocabulaire ouvert.

English

Image-Text pretraining on web-scale image caption dataset has become the default recipe for open vocabulary classification and retrieval models thanks to the success of CLIP and its variants. Several works have also used CLIP features for dense prediction tasks and have shown the emergence of open-set abilities. However, the contrastive objective only focuses on image-text alignment and does not incentivise image feature learning for dense prediction tasks. In this work, we propose the simple addition of local-to-global correspondence learning by self-distillation as an additional objective for contrastive pre-training to propose SILC. We show that distilling local image features from an exponential moving average (EMA) teacher model significantly improves model performance on several computer vision tasks including classification, retrieval, and especially segmentation. We further show that SILC scales better with the same training duration compared to the baselines. Our model SILC sets a new state of the art for zero-shot classification, few shot classification, image and text retrieval, zero-shot segmentation, and open vocabulary segmentation.