Разоблачение данных CLIP

Demystifying CLIP Data

September 28, 2023

Авторы: Hu Xu, Saining Xie, Xiaoqing Ellen Tan, Po-Yao Huang, Russell Howes, Vasu Sharma, Shang-Wen Li, Gargi Ghosh, Luke Zettlemoyer, Christoph Feichtenhofer

cs.AI

Аннотация

Контрастное предобучение на языково-визуальных данных (CLIP) — это подход, который продвинул исследования и приложения в области компьютерного зрения, став основой для современных систем распознавания и генеративных моделей. Мы считаем, что ключевым фактором успеха CLIP являются данные, а не архитектура модели или цель предобучения. Однако CLIP предоставляет очень ограниченную информацию о своих данных и процессе их сбора, что привело к появлению работ, направленных на воспроизведение данных CLIP с использованием его параметров модели. В данной работе мы стремимся раскрыть подход к курированию данных в CLIP и, стремясь сделать его открытым для сообщества, представляем Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP берет исходный пул данных и метаданные (полученные из концепций CLIP) и формирует сбалансированное подмножество, соответствующее распределению метаданных. Наше экспериментальное исследование строго изолирует модель и настройки обучения, сосредотачиваясь исключительно на данных. MetaCLIP, примененный к CommonCrawl с 400 миллионами пар изображений и текстов, превосходит данные CLIP на нескольких стандартных бенчмарках. В задаче классификации ImageNet с нулевым обучением MetaCLIP достигает точности 70,8%, превосходя 68,3% у CLIP на моделях ViT-B. Масштабирование до 1 миллиарда данных при сохранении того же бюджета обучения позволяет достичь 72,4%. Наши наблюдения подтверждаются для различных размеров моделей, что демонстрирует ViT-H с точностью 80,5% без каких-либо дополнительных улучшений. Код для курирования и распределение обучающих данных по метаданным доступны по адресу https://github.com/facebookresearch/MetaCLIP.

English

Contrastive Language-Image Pre-training (CLIP) is an approach that has advanced research and applications in computer vision, fueling modern recognition systems and generative models. We believe that the main ingredient to the success of CLIP is its data and not the model architecture or pre-training objective. However, CLIP only provides very limited information about its data and how it has been collected, leading to works that aim to reproduce CLIP's data by filtering with its model parameters. In this work, we intend to reveal CLIP's data curation approach and in our pursuit of making it open to the community introduce Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP takes a raw data pool and metadata (derived from CLIP's concepts) and yields a balanced subset over the metadata distribution. Our experimental study rigorously isolates the model and training settings, concentrating solely on data. MetaCLIP applied to CommonCrawl with 400M image-text data pairs outperforms CLIP's data on multiple standard benchmarks. In zero-shot ImageNet classification, MetaCLIP achieves 70.8% accuracy, surpassing CLIP's 68.3% on ViT-B models. Scaling to 1B data, while maintaining the same training budget, attains 72.4%. Our observations hold across various model sizes, exemplified by ViT-H achieving 80.5%, without any bells-and-whistles. Curation code and training data distribution on metadata is made available at https://github.com/facebookresearch/MetaCLIP.