SILC: Улучшение предварительного обучения моделей "визуальный язык" с помощью самодистилляции

SILC: Improving Vision Language Pretraining with Self-Distillation

October 20, 2023

Авторы: Muhammad Ferjad Naeem, Yongqin Xian, Xiaohua Zhai, Lukas Hoyer, Luc Van Gool, Federico Tombari

cs.AI

Аннотация

Предварительное обучение на масштабных наборах данных с изображениями и подписями стало стандартным подходом для моделей классификации и поиска с открытым словарём благодаря успеху CLIP и его вариаций. Несколько работ также использовали признаки CLIP для задач плотного предсказания, демонстрируя появление способностей к работе с открытыми множествами. Однако контрастивная функция потерь фокусируется только на согласовании изображений и текста и не стимулирует обучение признаков изображений для задач плотного предсказания. В данной работе мы предлагаем простое добавление обучения локально-глобальным соответствиям через самодистилляцию в качестве дополнительной цели для контрастивного предварительного обучения, предлагая модель SILC. Мы показываем, что дистилляция локальных признаков изображений от модели-учителя с экспоненциальным скользящим средним (EMA) значительно улучшает производительность модели на различных задачах компьютерного зрения, включая классификацию, поиск и особенно сегментацию. Мы также демонстрируем, что SILC масштабируется лучше при одинаковой продолжительности обучения по сравнению с базовыми моделями. Наша модель SILC устанавливает новый эталон для задач классификации с нулевым обучением, классификации с малым количеством примеров, поиска изображений и текста, сегментации с нулевым обучением и сегментации с открытым словарём.

English

Image-Text pretraining on web-scale image caption dataset has become the default recipe for open vocabulary classification and retrieval models thanks to the success of CLIP and its variants. Several works have also used CLIP features for dense prediction tasks and have shown the emergence of open-set abilities. However, the contrastive objective only focuses on image-text alignment and does not incentivise image feature learning for dense prediction tasks. In this work, we propose the simple addition of local-to-global correspondence learning by self-distillation as an additional objective for contrastive pre-training to propose SILC. We show that distilling local image features from an exponential moving average (EMA) teacher model significantly improves model performance on several computer vision tasks including classification, retrieval, and especially segmentation. We further show that SILC scales better with the same training duration compared to the baselines. Our model SILC sets a new state of the art for zero-shot classification, few shot classification, image and text retrieval, zero-shot segmentation, and open vocabulary segmentation.