Desmistificando os Dados do CLIP

Demystifying CLIP Data

September 28, 2023

Autores: Hu Xu, Saining Xie, Xiaoqing Ellen Tan, Po-Yao Huang, Russell Howes, Vasu Sharma, Shang-Wen Li, Gargi Ghosh, Luke Zettlemoyer, Christoph Feichtenhofer

cs.AI

Resumo

O Pré-treinamento Contrastivo de Linguagem-Imagem (CLIP) é uma abordagem que avançou a pesquisa e aplicações em visão computacional, impulsionando sistemas modernos de reconhecimento e modelos generativos. Acreditamos que o principal ingrediente para o sucesso do CLIP são seus dados, e não a arquitetura do modelo ou o objetivo de pré-treinamento. No entanto, o CLIP fornece informações muito limitadas sobre seus dados e como eles foram coletados, levando a trabalhos que visam reproduzir os dados do CLIP filtrando com seus parâmetros de modelo. Neste trabalho, pretendemos revelar a abordagem de curadoria de dados do CLIP e, em nossa busca por torná-la aberta à comunidade, introduzimos o Pré-treinamento de Linguagem-Imagem com Curadoria de Metadados (MetaCLIP). O MetaCLIP pega um pool de dados brutos e metadados (derivados dos conceitos do CLIP) e produz um subconjunto balanceado sobre a distribuição de metadados. Nosso estudo experimental isola rigorosamente o modelo e as configurações de treinamento, concentrando-se apenas nos dados. O MetaCLIP aplicado ao CommonCrawl com 400 milhões de pares de dados imagem-texto supera os dados do CLIP em vários benchmarks padrão. Na classificação zero-shot do ImageNet, o MetaCLIP alcança 70,8% de precisão, superando os 68,3% do CLIP em modelos ViT-B. Escalonando para 1 bilhão de dados, mantendo o mesmo orçamento de treinamento, atinge 72,4%. Nossas observações se mantêm em vários tamanhos de modelo, exemplificado pelo ViT-H alcançando 80,5%, sem qualquer sofisticação adicional. O código de curadoria e a distribuição de dados de treinamento sobre metadados estão disponíveis em https://github.com/facebookresearch/MetaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) is an approach that has advanced research and applications in computer vision, fueling modern recognition systems and generative models. We believe that the main ingredient to the success of CLIP is its data and not the model architecture or pre-training objective. However, CLIP only provides very limited information about its data and how it has been collected, leading to works that aim to reproduce CLIP's data by filtering with its model parameters. In this work, we intend to reveal CLIP's data curation approach and in our pursuit of making it open to the community introduce Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP takes a raw data pool and metadata (derived from CLIP's concepts) and yields a balanced subset over the metadata distribution. Our experimental study rigorously isolates the model and training settings, concentrating solely on data. MetaCLIP applied to CommonCrawl with 400M image-text data pairs outperforms CLIP's data on multiple standard benchmarks. In zero-shot ImageNet classification, MetaCLIP achieves 70.8% accuracy, surpassing CLIP's 68.3% on ViT-B models. Scaling to 1B data, while maintaining the same training budget, attains 72.4%. Our observations hold across various model sizes, exemplified by ViT-H achieving 80.5%, without any bells-and-whistles. Curation code and training data distribution on metadata is made available at https://github.com/facebookresearch/MetaCLIP.