MetaCLIP 2 : Une Recette de Mise à l'Échelle Mondiale

MetaCLIP 2: A Worldwide Scaling Recipe

July 29, 2025

papers.authors: Yung-Sung Chuang, Yang Li, Dong Wang, Ching-Feng Yeh, Kehan Lyu, Ramya Raghavendra, James Glass, Lifei Huang, Jason Weston, Luke Zettlemoyer, Xinlei Chen, Zhuang Liu, Saining Xie, Wen-tau Yih, Shang-Wen Li, Hu Xu

cs.AI

papers.abstract

Le pré-entraînement contrastif langue-image (CLIP) est un modèle de base populaire, supportant des tâches allant de la classification zero-shot, à la recherche, jusqu'aux encodeurs pour les grands modèles de langage multimodaux (MLLMs). Bien que CLIP ait été entraîné avec succès sur des milliards de paires image-texte provenant du monde anglophone, étendre l'entraînement de CLIP pour apprendre à partir de données issues du web mondial reste un défi : (1) aucune méthode de curation n'est disponible pour gérer les données provenant du monde non anglophone ; (2) les performances en anglais des versions multilingues existantes de CLIP sont inférieures à celles de leur homologue monolingue anglais, un phénomène connu sous le nom de "malédiction du multilinguisme" courant dans les LLMs. Nous présentons ici MetaCLIP 2, la première méthode d'entraînement de CLIP à partir de zéro sur des paires image-texte à l'échelle du web mondial. Pour généraliser nos résultats, nous menons des ablations rigoureuses avec des modifications minimales nécessaires pour relever les défis mentionnés et proposons une méthode permettant des bénéfices mutuels entre les données anglophones et non anglophones. En classification zero-shot sur ImageNet, MetaCLIP 2 ViT-H/14 surpasse son homologue monolingue anglais de 0,8 % et mSigLIP de 0,7 %, et établit de manière surprenante un nouvel état de l'art sans facteurs de confusion au niveau du système (par exemple, traduction, modifications architecturales spécifiques) sur des benchmarks multilingues, tels que CVQA avec 57,4 %, Babel-ImageNet avec 50,2 % et XM3600 avec 64,3 % en recherche image-texte.

English

Contrastive Language-Image Pretraining (CLIP) is a popular foundation model, supporting from zero-shot classification, retrieval to encoders for multimodal large language models (MLLMs). Although CLIP is successfully trained on billion-scale image-text pairs from the English world, scaling CLIP's training further to learning from the worldwide web data is still challenging: (1) no curation method is available to handle data points from non-English world; (2) the English performance from existing multilingual CLIP is worse than its English-only counterpart, i.e., "curse of multilinguality" that is common in LLMs. Here, we present MetaCLIP 2, the first recipe training CLIP from scratch on worldwide web-scale image-text pairs. To generalize our findings, we conduct rigorous ablations with minimal changes that are necessary to address the above challenges and present a recipe enabling mutual benefits from English and non-English world data. In zero-shot ImageNet classification, MetaCLIP 2 ViT-H/14 surpasses its English-only counterpart by 0.8% and mSigLIP by 0.7%, and surprisingly sets new state-of-the-art without system-level confounding factors (e.g., translation, bespoke architecture changes) on multilingual benchmarks, such as CVQA with 57.4%, Babel-ImageNet with 50.2% and XM3600 with 64.3% on image-to-text retrieval.