SILC: Miglioramento del Pretraining Vision-Language con Auto-Distillazione

SILC: Improving Vision Language Pretraining with Self-Distillation

October 20, 2023

Autori: Muhammad Ferjad Naeem, Yongqin Xian, Xiaohua Zhai, Lukas Hoyer, Luc Van Gool, Federico Tombari

cs.AI

Abstract

Il pre-addestramento immagine-testo su dataset di didascalie di immagini su scala web è diventato la ricetta predefinita per i modelli di classificazione e retrieval a vocabolario aperto grazie al successo di CLIP e delle sue varianti. Diversi lavori hanno anche utilizzato le caratteristiche di CLIP per task di predizione densa, dimostrando l'emergere di capacità open-set. Tuttavia, l'obiettivo contrastivo si concentra solo sull'allineamento immagine-testo e non incentiva l'apprendimento di caratteristiche dell'immagine per task di predizione densa. In questo lavoro, proponiamo la semplice aggiunta di un apprendimento di corrispondenza locale-globale tramite auto-distillazione come obiettivo aggiuntivo per il pre-addestramento contrastivo, dando vita a SILC. Dimostriamo che la distillazione di caratteristiche locali dell'immagine da un modello insegnante con media mobile esponenziale (EMA) migliora significativamente le prestazioni del modello su diversi task di visione artificiale, tra cui classificazione, retrieval e soprattutto segmentazione. Inoltre, mostriamo che SILC scala meglio rispetto ai baseline con la stessa durata di addestramento. Il nostro modello SILC stabilisce un nuovo stato dell'arte per la classificazione zero-shot, la classificazione few-shot, il retrieval di immagini e testo, la segmentazione zero-shot e la segmentazione a vocabolario aperto.

English

Image-Text pretraining on web-scale image caption dataset has become the default recipe for open vocabulary classification and retrieval models thanks to the success of CLIP and its variants. Several works have also used CLIP features for dense prediction tasks and have shown the emergence of open-set abilities. However, the contrastive objective only focuses on image-text alignment and does not incentivise image feature learning for dense prediction tasks. In this work, we propose the simple addition of local-to-global correspondence learning by self-distillation as an additional objective for contrastive pre-training to propose SILC. We show that distilling local image features from an exponential moving average (EMA) teacher model significantly improves model performance on several computer vision tasks including classification, retrieval, and especially segmentation. We further show that SILC scales better with the same training duration compared to the baselines. Our model SILC sets a new state of the art for zero-shot classification, few shot classification, image and text retrieval, zero-shot segmentation, and open vocabulary segmentation.