CatLIP: Accuratezza nel Riconoscimento Visivo a Livello CLIP con Pre-addestramento 2.7x Più Veloce su Dati Immagine-Testo su Scala Web

CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data

April 24, 2024

Autori: Sachin Mehta, Maxwell Horton, Fartash Faghri, Mohammad Hossein Sekhavat, Mahyar Najibi, Mehrdad Farajtabar, Oncel Tuzel, Mohammad Rastegari

cs.AI

Abstract

L'apprendimento contrastivo è emerso come un metodo trasformativo per apprendere rappresentazioni visive efficaci attraverso l'allineamento degli embedding di immagini e testi. Tuttavia, il calcolo della similarità a coppie nella funzione di perdita contrastiva tra coppie di immagini e testi presenta sfide computazionali. Questo articolo presenta una nuova pre-addestramento debolmente supervisionato di modelli visivi su dati immagine-testo su scala web. Il metodo proposto riformula il pre-addestramento su dati immagine-testo come un compito di classificazione. Di conseguenza, elimina la necessità di calcoli di similarità a coppie nella perdita contrastiva, ottenendo un notevole accelerazione di 2,7 volte nella velocità di addestramento rispetto all'apprendimento contrastivo su dati su scala web. Attraverso esperimenti estesi che coprono diverse attività visive, tra cui rilevamento e segmentazione, dimostriamo che il metodo proposto mantiene un'elevata qualità delle rappresentazioni. Il nostro codice sorgente, insieme ai pesi dei modelli pre-addestrati e alle ricette di addestramento, è disponibile all'indirizzo https://github.com/apple/corenet.

English

Contrastive learning has emerged as a transformative method for learning effective visual representations through the alignment of image and text embeddings. However, pairwise similarity computation in contrastive loss between image and text pairs poses computational challenges. This paper presents a novel weakly supervised pre-training of vision models on web-scale image-text data. The proposed method reframes pre-training on image-text data as a classification task. Consequently, it eliminates the need for pairwise similarity computations in contrastive loss, achieving a remarkable 2.7times acceleration in training speed compared to contrastive learning on web-scale data. Through extensive experiments spanning diverse vision tasks, including detection and segmentation, we demonstrate that the proposed method maintains high representation quality. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet.