CatLIP : Précision de reconnaissance visuelle équivalente à CLIP avec un pré-entraînement 2,7 fois plus rapide sur des données image-texte à l'échelle du web

CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data

April 24, 2024

Auteurs: Sachin Mehta, Maxwell Horton, Fartash Faghri, Mohammad Hossein Sekhavat, Mahyar Najibi, Mehrdad Farajtabar, Oncel Tuzel, Mohammad Rastegari

cs.AI

Résumé

L'apprentissage contrastif s'est imposé comme une méthode transformative pour l'apprentissage de représentations visuelles efficaces grâce à l'alignement des embeddings d'images et de texte. Cependant, le calcul de similarité par paire dans la fonction de perte contrastive entre les paires image-texte pose des défis computationnels. Cet article présente une nouvelle méthode de pré-entraînement faiblement supervisé de modèles visuels sur des données image-texte à l'échelle du web. La méthode proposée reformule le pré-entraînement sur des données image-texte comme une tâche de classification. Par conséquent, elle élimine le besoin de calculs de similarité par paire dans la perte contrastive, permettant une accélération remarquable de 2,7 fois la vitesse d'entraînement par rapport à l'apprentissage contrastif sur des données web-scale. À travers des expériences approfondies couvrant diverses tâches visuelles, y compris la détection et la segmentation, nous démontrons que la méthode proposée maintient une qualité de représentation élevée. Notre code source, ainsi que les poids des modèles pré-entraînés et les protocoles d'entraînement, sont disponibles à l'adresse https://github.com/apple/corenet.

English

Contrastive learning has emerged as a transformative method for learning effective visual representations through the alignment of image and text embeddings. However, pairwise similarity computation in contrastive loss between image and text pairs poses computational challenges. This paper presents a novel weakly supervised pre-training of vision models on web-scale image-text data. The proposed method reframes pre-training on image-text data as a classification task. Consequently, it eliminates the need for pairwise similarity computations in contrastive loss, achieving a remarkable 2.7times acceleration in training speed compared to contrastive learning on web-scale data. Through extensive experiments spanning diverse vision tasks, including detection and segmentation, we demonstrate that the proposed method maintains high representation quality. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet.