CLIP의 규모 축소: 데이터, 아키텍처, 훈련 전략에 대한 포괄적 분석

Scaling (Down) CLIP: A Comprehensive Analysis of Data, Architecture, and Training Strategies

April 12, 2024

저자: Zichao Li, Cihang Xie, Ekin Dogus Cubuk

cs.AI

초록

본 논문은 제한된 계산 예산으로 축소된 Contrastive Language-Image Pre-training(CLIP)의 성능을 조사합니다. 우리는 데이터, 아키텍처, 훈련 전략이라는 세 가지 차원에서 CLIP을 탐구합니다. 데이터 측면에서는 고품질 훈련 데이터의 중요성을 입증하고, 더 작은 고품질 데이터셋이 더 크지만 품질이 낮은 데이터셋을 능가할 수 있음을 보여줍니다. 또한 모델 성능이 다양한 데이터셋 크기에 따라 어떻게 달라지는지 검토하며, 더 작은 ViT 모델은 더 작은 데이터셋에 더 적합하고, 더 큰 모델은 고정된 계산 자원에서 더 큰 데이터셋에서 더 나은 성능을 보인다는 점을 제시합니다. 추가적으로, CLIP 훈련 시 CNN 기반 아키텍처와 ViT 기반 아키텍처 중 어떤 것을 선택할지에 대한 지침을 제공합니다. 우리는 SLIP, FLIP, CLIP, 그리고 CLIP+Data Augmentation이라는 네 가지 CLIP 훈련 전략을 비교하고, 훈련 전략 선택이 사용 가능한 계산 자원에 따라 달라짐을 보여줍니다. 우리의 분석은 CLIP+Data Augmentation이 훈련 데이터의 절반만 사용하여도 CLIP과 비슷한 성능을 달성할 수 있음을 밝힙니다. 이 연구는 CLIP 모델을 효과적으로 훈련하고 배포하는 방법에 대한 실용적인 통찰을 제공함으로써, 다양한 응용 분야에서 CLIP 모델을 더 접근 가능하고 경제적으로 사용할 수 있도록 합니다.

English

This paper investigates the performance of the Contrastive Language-Image Pre-training (CLIP) when scaled down to limited computation budgets. We explore CLIP along three dimensions: data, architecture, and training strategies. With regards to data, we demonstrate the significance of high-quality training data and show that a smaller dataset of high-quality data can outperform a larger dataset with lower quality. We also examine how model performance varies with different dataset sizes, suggesting that smaller ViT models are better suited for smaller datasets, while larger models perform better on larger datasets with fixed compute. Additionally, we provide guidance on when to choose a CNN-based architecture or a ViT-based architecture for CLIP training. We compare four CLIP training strategies - SLIP, FLIP, CLIP, and CLIP+Data Augmentation - and show that the choice of training strategy depends on the available compute resource. Our analysis reveals that CLIP+Data Augmentation can achieve comparable performance to CLIP using only half of the training data. This work provides practical insights into how to effectively train and deploy CLIP models, making them more accessible and affordable for practical use in various applications.