Desmitificando los datos de CLIP

Resumen

El preentrenamiento de lenguaje-imagen contrastivo (CLIP) es un enfoque que ha impulsado la investigación y aplicaciones en visión por computadora, alimentando sistemas de reconocimiento modernos y modelos generativos. Creemos que el ingrediente principal del éxito de CLIP son sus datos, y no la arquitectura del modelo o el objetivo de preentrenamiento. Sin embargo, CLIP proporciona información muy limitada sobre sus datos y cómo se han recopilado, lo que ha llevado a trabajos que buscan reproducir los datos de CLIP filtrando con sus parámetros del modelo. En este trabajo, pretendemos revelar el enfoque de curación de datos de CLIP y, en nuestra búsqueda por hacerlo accesible a la comunidad, presentamos el preentrenamiento de lenguaje-imagen con metadatos curados (MetaCLIP). MetaCLIP toma un conjunto de datos en bruto y metadatos (derivados de los conceptos de CLIP) y produce un subconjunto equilibrado sobre la distribución de metadatos. Nuestro estudio experimental aísla rigurosamente el modelo y los ajustes de entrenamiento, centrándose únicamente en los datos. MetaCLIP aplicado a CommonCrawl con 400 millones de pares de datos imagen-texto supera los datos de CLIP en múltiples benchmarks estándar. En la clasificación de ImageNet sin ajuste específico (zero-shot), MetaCLIP alcanza un 70.8% de precisión, superando el 68.3% de CLIP en modelos ViT-B. Al escalar a 1B de datos, manteniendo el mismo presupuesto de entrenamiento, se alcanza un 72.4%. Nuestras observaciones se mantienen en varios tamaños de modelos, ejemplificado por ViT-H logrando un 80.5%, sin ningún tipo de ajustes adicionales. El código de curación y la distribución de datos de entrenamiento sobre metadatos están disponibles en https://github.com/facebookresearch/MetaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) is an approach that has advanced research and applications in computer vision, fueling modern recognition systems and generative models. We believe that the main ingredient to the success of CLIP is its data and not the model architecture or pre-training objective. However, CLIP only provides very limited information about its data and how it has been collected, leading to works that aim to reproduce CLIP's data by filtering with its model parameters. In this work, we intend to reveal CLIP's data curation approach and in our pursuit of making it open to the community introduce Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP takes a raw data pool and metadata (derived from CLIP's concepts) and yields a balanced subset over the metadata distribution. Our experimental study rigorously isolates the model and training settings, concentrating solely on data. MetaCLIP applied to CommonCrawl with 400M image-text data pairs outperforms CLIP's data on multiple standard benchmarks. In zero-shot ImageNet classification, MetaCLIP achieves 70.8% accuracy, surpassing CLIP's 68.3% on ViT-B models. Scaling to 1B data, while maintaining the same training budget, attains 72.4%. Our observations hold across various model sizes, exemplified by ViT-H achieving 80.5%, without any bells-and-whistles. Curation code and training data distribution on metadata is made available at https://github.com/facebookresearch/MetaCLIP.

Desmitificando los datos de CLIP

Demystifying CLIP Data

Resumen

Support