CLIPデータの謎を解き明かす

Demystifying CLIP Data

September 28, 2023

著者: Hu Xu, Saining Xie, Xiaoqing Ellen Tan, Po-Yao Huang, Russell Howes, Vasu Sharma, Shang-Wen Li, Gargi Ghosh, Luke Zettlemoyer, Christoph Feichtenhofer

cs.AI

要旨

コントラスティブ・ランゲージ・イメージ事前学習（CLIP）は、コンピュータビジョンの研究と応用を進展させ、現代の認識システムや生成モデルを推進するアプローチです。私たちは、CLIPの成功の主な要因はそのデータであり、モデルアーキテクチャや事前学習の目的ではないと考えています。しかし、CLIPはそのデータと収集方法について非常に限られた情報しか提供しておらず、そのモデルパラメータを用いてデータを再現しようとする研究が生まれています。本研究では、CLIPのデータキュレーション手法を明らかにし、それをコミュニティに公開することを目指して、メタデータキュレーション・ランゲージ・イメージ事前学習（MetaCLIP）を紹介します。MetaCLIPは、生データプールとメタデータ（CLIPの概念から派生）を取り込み、メタデータ分布に基づいてバランスの取れたサブセットを生成します。私たちの実験研究は、モデルとトレーニング設定を厳密に分離し、データのみに焦点を当てています。400Mの画像-テキストデータペアを持つCommonCrawlにMetaCLIPを適用すると、複数の標準ベンチマークでCLIPのデータを上回ります。ゼロショットImageNet分類では、MetaCLIPは70.8%の精度を達成し、ViT-BモデルでのCLIPの68.3%を上回ります。1Bのデータにスケーリングし、同じトレーニング予算を維持すると、72.4%を達成します。私たちの観察は、ViT-Hが80.5%を達成するなど、さまざまなモデルサイズで一貫しています。キュレーションコードとメタデータに基づくトレーニングデータ分布は、https://github.com/facebookresearch/MetaCLIP で公開されています。

English

Contrastive Language-Image Pre-training (CLIP) is an approach that has advanced research and applications in computer vision, fueling modern recognition systems and generative models. We believe that the main ingredient to the success of CLIP is its data and not the model architecture or pre-training objective. However, CLIP only provides very limited information about its data and how it has been collected, leading to works that aim to reproduce CLIP's data by filtering with its model parameters. In this work, we intend to reveal CLIP's data curation approach and in our pursuit of making it open to the community introduce Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP takes a raw data pool and metadata (derived from CLIP's concepts) and yields a balanced subset over the metadata distribution. Our experimental study rigorously isolates the model and training settings, concentrating solely on data. MetaCLIP applied to CommonCrawl with 400M image-text data pairs outperforms CLIP's data on multiple standard benchmarks. In zero-shot ImageNet classification, MetaCLIP achieves 70.8% accuracy, surpassing CLIP's 68.3% on ViT-B models. Scaling to 1B data, while maintaining the same training budget, attains 72.4%. Our observations hold across various model sizes, exemplified by ViT-H achieving 80.5%, without any bells-and-whistles. Curation code and training data distribution on metadata is made available at https://github.com/facebookresearch/MetaCLIP.