CatLIP: CLIP-niveau visuele herkenningsnauwkeurigheid met 2,7x snellere voorafgaande training op web-schaal beeld-tekstgegevens

CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data

April 24, 2024

Auteurs: Sachin Mehta, Maxwell Horton, Fartash Faghri, Mohammad Hossein Sekhavat, Mahyar Najibi, Mehrdad Farajtabar, Oncel Tuzel, Mohammad Rastegari

cs.AI

Samenvatting

Contrastief leren is naar voren gekomen als een transformerende methode voor het leren van effectieve visuele representaties door de afstemming van afbeelding- en tekstembeddings. Echter, de paarsgewijze gelijkenisberekening in het contrastieve verlies tussen afbeelding- en tekstparen vormt computationele uitdagingen. Dit artikel presenteert een nieuwe zwak begeleide voorafgaande training van visuele modellen op web-schaal afbeelding-tekstgegevens. De voorgestelde methode herformuleert de voorafgaande training op afbeelding-tekstgegevens als een classificatietaak. Hierdoor wordt de noodzaak voor paarsgewijze gelijkenisberekeningen in het contrastieve verlies geëlimineerd, wat een opmerkelijke 2,7 keer versnelling in de trainingssnelheid oplevert in vergelijking met contrastief leren op web-schaalgegevens. Door middel van uitgebreide experimenten die diverse visuele taken omvatten, waaronder detectie en segmentatie, tonen we aan dat de voorgestelde methode een hoge representatiekwaliteit behoudt. Onze broncode, samen met vooraf getrainde modelgewichten en trainingsrecepten, is beschikbaar op https://github.com/apple/corenet.

English

Contrastive learning has emerged as a transformative method for learning effective visual representations through the alignment of image and text embeddings. However, pairwise similarity computation in contrastive loss between image and text pairs poses computational challenges. This paper presents a novel weakly supervised pre-training of vision models on web-scale image-text data. The proposed method reframes pre-training on image-text data as a classification task. Consequently, it eliminates the need for pairwise similarity computations in contrastive loss, achieving a remarkable 2.7times acceleration in training speed compared to contrastive learning on web-scale data. Through extensive experiments spanning diverse vision tasks, including detection and segmentation, we demonstrate that the proposed method maintains high representation quality. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet.