SILC: Verbetering van Vision Language Pretraining met Zelfdistillatie

SILC: Improving Vision Language Pretraining with Self-Distillation

October 20, 2023

Auteurs: Muhammad Ferjad Naeem, Yongqin Xian, Xiaohua Zhai, Lukas Hoyer, Luc Van Gool, Federico Tombari

cs.AI

Samenvatting

Image-text pretraining op web-schaal beeld-bijschrift datasets is het standaardrecept geworden voor open vocabulaire classificatie- en retrievalmodellen dankzij het succes van CLIP en zijn varianten. Verschillende werken hebben ook CLIP-features gebruikt voor dense prediction taken en hebben het ontstaan van open-set vaardigheden aangetoond. Echter, het contrastieve doel richt zich alleen op de uitlijning van beeld en tekst en stimuleert niet het leren van beeldfeatures voor dense prediction taken. In dit werk stellen we de eenvoudige toevoeging van lokaal-naar-globaal correspondentieleren door zelfdistillatie voor als een extra doel voor contrastieve pretraining om SILC te introduceren. We laten zien dat het distilleren van lokale beeldfeatures van een exponentieel voortschrijdend gemiddelde (EMA) leraarmodel de modelprestaties aanzienlijk verbetert op verschillende computervisietaken, waaronder classificatie, retrieval, en vooral segmentatie. We tonen verder aan dat SILC beter schaalt met dezelfde trainingsduur in vergelijking met de baseline-modellen. Ons model SILC vestigt een nieuwe state of the art voor zero-shot classificatie, few-shot classificatie, beeld- en tekstretrieval, zero-shot segmentatie, en open vocabulaire segmentatie.

English

Image-Text pretraining on web-scale image caption dataset has become the default recipe for open vocabulary classification and retrieval models thanks to the success of CLIP and its variants. Several works have also used CLIP features for dense prediction tasks and have shown the emergence of open-set abilities. However, the contrastive objective only focuses on image-text alignment and does not incentivise image feature learning for dense prediction tasks. In this work, we propose the simple addition of local-to-global correspondence learning by self-distillation as an additional objective for contrastive pre-training to propose SILC. We show that distilling local image features from an exponential moving average (EMA) teacher model significantly improves model performance on several computer vision tasks including classification, retrieval, and especially segmentation. We further show that SILC scales better with the same training duration compared to the baselines. Our model SILC sets a new state of the art for zero-shot classification, few shot classification, image and text retrieval, zero-shot segmentation, and open vocabulary segmentation.