Skalierung von CLIP: Eine umfassende Analyse von Daten, Architektur und Trainingsstrategien

Scaling (Down) CLIP: A Comprehensive Analysis of Data, Architecture, and Training Strategies

April 12, 2024

Autoren: Zichao Li, Cihang Xie, Ekin Dogus Cubuk

cs.AI

Zusammenfassung

Dieses Paper untersucht die Leistungsfähigkeit des Contrastive Language-Image Pre-training (CLIP), wenn es auf begrenzte Rechenbudgets skaliert wird. Wir erkunden CLIP entlang dreier Dimensionen: Daten, Architektur und Trainingsstrategien. In Bezug auf die Daten zeigen wir die Bedeutung hochwertiger Trainingsdaten auf und zeigen, dass ein kleineres Datenset hochwertiger Daten ein größeres Datenset mit geringerer Qualität übertreffen kann. Wir untersuchen auch, wie sich die Modellleistung mit unterschiedlichen Datensatzgrößen verändert und schlagen vor, dass kleinere ViT-Modelle besser für kleinere Datensätze geeignet sind, während größere Modelle auf größeren Datensätzen mit festgelegter Rechenleistung besser abschneiden. Darüber hinaus geben wir Empfehlungen dazu, wann man eine CNN-basierte Architektur oder eine ViT-basierte Architektur für das CLIP-Training wählen sollte. Wir vergleichen vier CLIP-Trainingsstrategien - SLIP, FLIP, CLIP und CLIP+Data Augmentation - und zeigen, dass die Wahl der Trainingsstrategie von den verfügbaren Rechenressourcen abhängt. Unsere Analyse zeigt, dass CLIP+Data Augmentation vergleichbare Leistungen wie CLIP mit nur der Hälfte der Trainingsdaten erzielen kann. Diese Arbeit bietet praktische Einblicke, wie CLIP-Modelle effektiv trainiert und eingesetzt werden können, um sie in verschiedenen Anwendungen zugänglicher und erschwinglicher zu machen.

English

This paper investigates the performance of the Contrastive Language-Image Pre-training (CLIP) when scaled down to limited computation budgets. We explore CLIP along three dimensions: data, architecture, and training strategies. With regards to data, we demonstrate the significance of high-quality training data and show that a smaller dataset of high-quality data can outperform a larger dataset with lower quality. We also examine how model performance varies with different dataset sizes, suggesting that smaller ViT models are better suited for smaller datasets, while larger models perform better on larger datasets with fixed compute. Additionally, we provide guidance on when to choose a CNN-based architecture or a ViT-based architecture for CLIP training. We compare four CLIP training strategies - SLIP, FLIP, CLIP, and CLIP+Data Augmentation - and show that the choice of training strategy depends on the available compute resource. Our analysis reveals that CLIP+Data Augmentation can achieve comparable performance to CLIP using only half of the training data. This work provides practical insights into how to effectively train and deploy CLIP models, making them more accessible and affordable for practical use in various applications.