SILC: Mejora del preentrenamiento de visión y lenguaje mediante auto-distilación

SILC: Improving Vision Language Pretraining with Self-Distillation

October 20, 2023

Autores: Muhammad Ferjad Naeem, Yongqin Xian, Xiaohua Zhai, Lukas Hoyer, Luc Van Gool, Federico Tombari

cs.AI

Resumen

El preentrenamiento de imagen-texto en conjuntos de datos de subtítulos de imágenes a escala web se ha convertido en la receta predeterminada para modelos de clasificación y recuperación de vocabulario abierto, gracias al éxito de CLIP y sus variantes. Varios trabajos también han utilizado características de CLIP para tareas de predicción densa y han demostrado la aparición de capacidades de conjunto abierto. Sin embargo, el objetivo contrastivo solo se centra en la alineación imagen-texto y no incentiva el aprendizaje de características de imagen para tareas de predicción densa. En este trabajo, proponemos la simple adición de aprendizaje de correspondencia local-a-global mediante auto-distilación como un objetivo adicional para el preentrenamiento contrastivo, dando lugar a SILC. Mostramos que la destilación de características locales de imagen a partir de un modelo maestro de media móvil exponencial (EMA) mejora significativamente el rendimiento del modelo en varias tareas de visión por computadora, incluyendo clasificación, recuperación y, especialmente, segmentación. Además, demostramos que SILC escala mejor con la misma duración de entrenamiento en comparación con los modelos de referencia. Nuestro modelo SILC establece un nuevo estado del arte en clasificación de cero disparos, clasificación de pocos disparos, recuperación de imágenes y texto, segmentación de cero disparos y segmentación de vocabulario abierto.

English

Image-Text pretraining on web-scale image caption dataset has become the default recipe for open vocabulary classification and retrieval models thanks to the success of CLIP and its variants. Several works have also used CLIP features for dense prediction tasks and have shown the emergence of open-set abilities. However, the contrastive objective only focuses on image-text alignment and does not incentivise image feature learning for dense prediction tasks. In this work, we propose the simple addition of local-to-global correspondence learning by self-distillation as an additional objective for contrastive pre-training to propose SILC. We show that distilling local image features from an exponential moving average (EMA) teacher model significantly improves model performance on several computer vision tasks including classification, retrieval, and especially segmentation. We further show that SILC scales better with the same training duration compared to the baselines. Our model SILC sets a new state of the art for zero-shot classification, few shot classification, image and text retrieval, zero-shot segmentation, and open vocabulary segmentation.