CatLIP: Точность визуального распознавания на уровне CLIP с ускорением в 2,7 раза Предварительное обучение на веб-масштабных данных изображений и текста.

CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data

April 24, 2024

Авторы: Sachin Mehta, Maxwell Horton, Fartash Faghri, Mohammad Hossein Sekhavat, Mahyar Najibi, Mehrdad Farajtabar, Oncel Tuzel, Mohammad Rastegari

cs.AI

Аннотация

Контрастное обучение стало трансформационным методом для обучения эффективных визуальных представлений путем выравнивания вложений изображения и текста. Однако вычисление попарной схожести в контрастной потере между парами изображений и текста представляет вычислительные сложности. В данной статье представлен новый метод слабо контролируемого предварительного обучения моделей зрения на веб-масштабных данных изображений и текста. Предложенный метод переформулирует предварительное обучение на данных изображения и текста как задачу классификации. В результате этого он устраняет необходимость в вычислениях попарной схожести в контрастной потере, достигая заметного ускорения в 2,7 раза по сравнению с контрастным обучением на веб-масштабных данных. Через обширные эксперименты, охватывающие различные задачи зрения, включая детекцию и сегментацию, мы демонстрируем, что предложенный метод сохраняет высокое качество представления. Наш исходный код вместе с весами предварительно обученной модели и рецептами обучения доступен по адресу https://github.com/apple/corenet.

English

Contrastive learning has emerged as a transformative method for learning effective visual representations through the alignment of image and text embeddings. However, pairwise similarity computation in contrastive loss between image and text pairs poses computational challenges. This paper presents a novel weakly supervised pre-training of vision models on web-scale image-text data. The proposed method reframes pre-training on image-text data as a classification task. Consequently, it eliminates the need for pairwise similarity computations in contrastive loss, achieving a remarkable 2.7times acceleration in training speed compared to contrastive learning on web-scale data. Through extensive experiments spanning diverse vision tasks, including detection and segmentation, we demonstrate that the proposed method maintains high representation quality. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet.