CatLIP: CLIP-Ebene visuelle Erkennungsgenauigkeit mit 2,7-facher Beschleunigung durch Vor-Training auf webbasierten Bild-Text-Daten

CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data

April 24, 2024

Autoren: Sachin Mehta, Maxwell Horton, Fartash Faghri, Mohammad Hossein Sekhavat, Mahyar Najibi, Mehrdad Farajtabar, Oncel Tuzel, Mohammad Rastegari

cs.AI

Zusammenfassung

Kontrastives Lernen hat sich als eine transformative Methode zur Erlangung effektiver visueller Repräsentationen durch die Ausrichtung von Bild- und Texteinbettungen etabliert. Die paarweise Ähnlichkeitsberechnung im kontrastiven Verlust zwischen Bild- und Textpaaren stellt jedoch eine rechnerische Herausforderung dar. Dieses Papier präsentiert ein neuartiges schwach überwachtes Vor-Training von Vision-Modellen auf webbasierten Bild-Text-Daten. Die vorgeschlagene Methode konzipiert das Vor-Training auf Bild-Text-Daten als eine Klassifizierungsaufgabe um. Dadurch entfällt die Notwendigkeit für paarweise Ähnlichkeitsberechnungen im kontrastiven Verlust und erreicht eine bemerkenswerte 2,7-fache Beschleunigung der Trainingsgeschwindigkeit im Vergleich zum kontrastiven Lernen auf webbasierten Daten. Durch umfangreiche Experimente, die verschiedene Vision-Aufgaben umfassen, einschließlich Detektion und Segmentierung, zeigen wir, dass die vorgeschlagene Methode eine hohe Repräsentationsqualität beibehält. Unser Quellcode zusammen mit vorab trainierten Modellgewichten und Trainingsanleitungen ist verfügbar unter https://github.com/apple/corenet.

English

Contrastive learning has emerged as a transformative method for learning effective visual representations through the alignment of image and text embeddings. However, pairwise similarity computation in contrastive loss between image and text pairs poses computational challenges. This paper presents a novel weakly supervised pre-training of vision models on web-scale image-text data. The proposed method reframes pre-training on image-text data as a classification task. Consequently, it eliminates the need for pairwise similarity computations in contrastive loss, achieving a remarkable 2.7times acceleration in training speed compared to contrastive learning on web-scale data. Through extensive experiments spanning diverse vision tasks, including detection and segmentation, we demonstrate that the proposed method maintains high representation quality. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet.