Het ontrafelen van CLIP-data

Samenvatting

Contrastive Language-Image Pre-training (CLIP) is een benadering die onderzoek en toepassingen in computervisie heeft bevorderd, en moderne herkenningssystemen en generatieve modellen heeft aangewakkerd. Wij geloven dat het belangrijkste ingrediënt voor het succes van CLIP de data is, en niet de modelarchitectuur of het pre-trainingsdoel. CLIP biedt echter slechts zeer beperkte informatie over zijn data en hoe deze zijn verzameld, wat heeft geleid tot werken die proberen CLIP's data te reproduceren door te filteren met zijn modelparameters. In dit werk willen we CLIP's data-curatiebenadering onthullen en, in onze zoektocht om deze openbaar te maken voor de gemeenschap, introduceren we Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP neemt een ruwe datapool en metadata (afgeleid van CLIP's concepten) en levert een gebalanceerde subset op over de metadata-distributie. Onze experimentele studie isoleert rigoureus het model en de trainingsinstellingen, en concentreert zich uitsluitend op de data. MetaCLIP toegepast op CommonCrawl met 400M beeld-tekst dataparen overtreft CLIP's data op meerdere standaard benchmarks. In zero-shot ImageNet-classificatie behaalt MetaCLIP een nauwkeurigheid van 70,8%, wat CLIP's 68,3% overtreft op ViT-B modellen. Schaalvergroting naar 1B data, terwijl hetzelfde trainingsbudget wordt aangehouden, bereikt 72,4%. Onze observaties gelden voor verschillende modelgroottes, geïllustreerd door ViT-H die 80,5% bereikt, zonder enige toeters-en-bellen. De curatiecode en de trainingsdata-distributie op metadata zijn beschikbaar gesteld op https://github.com/facebookresearch/MetaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) is an approach that has advanced research and applications in computer vision, fueling modern recognition systems and generative models. We believe that the main ingredient to the success of CLIP is its data and not the model architecture or pre-training objective. However, CLIP only provides very limited information about its data and how it has been collected, leading to works that aim to reproduce CLIP's data by filtering with its model parameters. In this work, we intend to reveal CLIP's data curation approach and in our pursuit of making it open to the community introduce Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP takes a raw data pool and metadata (derived from CLIP's concepts) and yields a balanced subset over the metadata distribution. Our experimental study rigorously isolates the model and training settings, concentrating solely on data. MetaCLIP applied to CommonCrawl with 400M image-text data pairs outperforms CLIP's data on multiple standard benchmarks. In zero-shot ImageNet classification, MetaCLIP achieves 70.8% accuracy, surpassing CLIP's 68.3% on ViT-B models. Scaling to 1B data, while maintaining the same training budget, attains 72.4%. Our observations hold across various model sizes, exemplified by ViT-H achieving 80.5%, without any bells-and-whistles. Curation code and training data distribution on metadata is made available at https://github.com/facebookresearch/MetaCLIP.

Het ontrafelen van CLIP-data

Demystifying CLIP Data

Samenvatting

Support