Mise à l'échelle (réduction) de CLIP : Une analyse approfondie des données, de l'architecture et des stratégies d'entraînement

Scaling (Down) CLIP: A Comprehensive Analysis of Data, Architecture, and Training Strategies

April 12, 2024

Auteurs: Zichao Li, Cihang Xie, Ekin Dogus Cubuk

cs.AI

Résumé

Cet article étudie les performances du pré-entraînement contrastif texte-image (CLIP) lorsqu'il est adapté à des budgets de calcul limités. Nous explorons CLIP selon trois dimensions : les données, l'architecture et les stratégies d'entraînement. Concernant les données, nous démontrons l'importance de données d'entraînement de haute qualité et montrons qu'un ensemble de données plus petit mais de meilleure qualité peut surpasser un ensemble de données plus volumineux mais de moindre qualité. Nous examinons également comment les performances du modèle varient en fonction de la taille des ensembles de données, suggérant que les modèles ViT plus petits sont mieux adaptés aux ensembles de données réduits, tandis que les modèles plus grands performent mieux sur des ensembles de données plus vastes avec un calcul fixe. De plus, nous fournissons des conseils sur le choix entre une architecture basée sur CNN ou une architecture basée sur ViT pour l'entraînement de CLIP. Nous comparons quatre stratégies d'entraînement de CLIP - SLIP, FLIP, CLIP et CLIP+Augmentation de données - et montrons que le choix de la stratégie d'entraînement dépend des ressources de calcul disponibles. Notre analyse révèle que CLIP+Augmentation de données peut atteindre des performances comparables à CLIP en utilisant seulement la moitié des données d'entraînement. Ce travail offre des perspectives pratiques sur la manière d'entraîner et de déployer efficacement des modèles CLIP, les rendant plus accessibles et abordables pour une utilisation pratique dans diverses applications.

English

This paper investigates the performance of the Contrastive Language-Image Pre-training (CLIP) when scaled down to limited computation budgets. We explore CLIP along three dimensions: data, architecture, and training strategies. With regards to data, we demonstrate the significance of high-quality training data and show that a smaller dataset of high-quality data can outperform a larger dataset with lower quality. We also examine how model performance varies with different dataset sizes, suggesting that smaller ViT models are better suited for smaller datasets, while larger models perform better on larger datasets with fixed compute. Additionally, we provide guidance on when to choose a CNN-based architecture or a ViT-based architecture for CLIP training. We compare four CLIP training strategies - SLIP, FLIP, CLIP, and CLIP+Data Augmentation - and show that the choice of training strategy depends on the available compute resource. Our analysis reveals that CLIP+Data Augmentation can achieve comparable performance to CLIP using only half of the training data. This work provides practical insights into how to effectively train and deploy CLIP models, making them more accessible and affordable for practical use in various applications.