Demistificare i dati di CLIP

Demystifying CLIP Data

September 28, 2023

Autori: Hu Xu, Saining Xie, Xiaoqing Ellen Tan, Po-Yao Huang, Russell Howes, Vasu Sharma, Shang-Wen Li, Gargi Ghosh, Luke Zettlemoyer, Christoph Feichtenhofer

cs.AI

Abstract

Il Contrastive Language-Image Pre-training (CLIP) è un approccio che ha fatto progredire la ricerca e le applicazioni nel campo della visione artificiale, alimentando i moderni sistemi di riconoscimento e i modelli generativi. Crediamo che l'ingrediente principale del successo di CLIP siano i suoi dati, piuttosto che l'architettura del modello o l'obiettivo di pre-addestramento. Tuttavia, CLIP fornisce informazioni molto limitate sui suoi dati e su come sono stati raccolti, portando a lavori che mirano a riprodurre i dati di CLIP filtrandoli con i parametri del modello. In questo lavoro, intendiamo rivelare l'approccio di curatela dei dati di CLIP e, nel nostro intento di renderlo accessibile alla comunità, introduciamo il Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP prende un pool di dati grezzi e metadati (derivati dai concetti di CLIP) e produce un sottoinsieme bilanciato sulla distribuzione dei metadati. Il nostro studio sperimentale isola rigorosamente il modello e le impostazioni di addestramento, concentrandosi esclusivamente sui dati. MetaCLIP applicato a CommonCrawl con 400 milioni di coppie immagine-testo supera i dati di CLIP su molteplici benchmark standard. Nella classificazione zero-shot su ImageNet, MetaCLIP raggiunge un'accuratezza del 70,8%, superando il 68,3% di CLIP sui modelli ViT-B. Scalando a 1 miliardo di dati, mantenendo lo stesso budget di addestramento, si ottiene il 72,4%. Le nostre osservazioni si mantengono su varie dimensioni del modello, come dimostrato da ViT-H che raggiunge l'80,5%, senza alcun orpello. Il codice di curatela e la distribuzione dei dati di addestramento sui metadati sono disponibili all'indirizzo https://github.com/facebookresearch/MetaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) is an approach that has advanced research and applications in computer vision, fueling modern recognition systems and generative models. We believe that the main ingredient to the success of CLIP is its data and not the model architecture or pre-training objective. However, CLIP only provides very limited information about its data and how it has been collected, leading to works that aim to reproduce CLIP's data by filtering with its model parameters. In this work, we intend to reveal CLIP's data curation approach and in our pursuit of making it open to the community introduce Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP takes a raw data pool and metadata (derived from CLIP's concepts) and yields a balanced subset over the metadata distribution. Our experimental study rigorously isolates the model and training settings, concentrating solely on data. MetaCLIP applied to CommonCrawl with 400M image-text data pairs outperforms CLIP's data on multiple standard benchmarks. In zero-shot ImageNet classification, MetaCLIP achieves 70.8% accuracy, surpassing CLIP's 68.3% on ViT-B models. Scaling to 1B data, while maintaining the same training budget, attains 72.4%. Our observations hold across various model sizes, exemplified by ViT-H achieving 80.5%, without any bells-and-whistles. Curation code and training data distribution on metadata is made available at https://github.com/facebookresearch/MetaCLIP.