SILC: Aprimorando o Pré-treinamento de Linguagem Visual com Auto-Distilação

SILC: Improving Vision Language Pretraining with Self-Distillation

October 20, 2023

Autores: Muhammad Ferjad Naeem, Yongqin Xian, Xiaohua Zhai, Lukas Hoyer, Luc Van Gool, Federico Tombari

cs.AI

Resumo

O pré-treinamento de imagem-texto em conjuntos de dados de legendas de imagens em escala da web tornou-se a abordagem padrão para modelos de classificação e recuperação de vocabulário aberto, graças ao sucesso do CLIP e suas variantes. Vários trabalhos também utilizaram características do CLIP para tarefas de predição densa e demonstraram o surgimento de habilidades de conjunto aberto. No entanto, o objetivo contrastivo foca apenas no alinhamento imagem-texto e não incentiva o aprendizado de características de imagem para tarefas de predição densa. Neste trabalho, propomos a simples adição de aprendizado de correspondência local-global por auto-distilação como um objetivo adicional para o pré-treinamento contrastivo, apresentando o SILC. Mostramos que a destilação de características locais de imagem a partir de um modelo professor de média móvel exponencial (EMA) melhora significativamente o desempenho do modelo em várias tarefas de visão computacional, incluindo classificação, recuperação e, especialmente, segmentação. Além disso, demonstramos que o SILC escala melhor com a mesma duração de treinamento em comparação com as linhas de base. Nosso modelo SILC estabelece um novo estado da arte para classificação zero-shot, classificação com poucos exemplos, recuperação de imagem e texto, segmentação zero-shot e segmentação de vocabulário aberto.

English

Image-Text pretraining on web-scale image caption dataset has become the default recipe for open vocabulary classification and retrieval models thanks to the success of CLIP and its variants. Several works have also used CLIP features for dense prediction tasks and have shown the emergence of open-set abilities. However, the contrastive objective only focuses on image-text alignment and does not incentivise image feature learning for dense prediction tasks. In this work, we propose the simple addition of local-to-global correspondence learning by self-distillation as an additional objective for contrastive pre-training to propose SILC. We show that distilling local image features from an exponential moving average (EMA) teacher model significantly improves model performance on several computer vision tasks including classification, retrieval, and especially segmentation. We further show that SILC scales better with the same training duration compared to the baselines. Our model SILC sets a new state of the art for zero-shot classification, few shot classification, image and text retrieval, zero-shot segmentation, and open vocabulary segmentation.