MetaCLIP 2: Een Wereldwijd Schaalrecept
MetaCLIP 2: A Worldwide Scaling Recipe
July 29, 2025
Auteurs: Yung-Sung Chuang, Yang Li, Dong Wang, Ching-Feng Yeh, Kehan Lyu, Ramya Raghavendra, James Glass, Lifei Huang, Jason Weston, Luke Zettlemoyer, Xinlei Chen, Zhuang Liu, Saining Xie, Wen-tau Yih, Shang-Wen Li, Hu Xu
cs.AI
Samenvatting
Contrastive Language-Image Pretraining (CLIP) is een populair basismodel dat ondersteuning biedt voor taken variërend van zero-shot classificatie en retrieval tot encoders voor multimodale grote taalmodellen (MLLMs). Hoewel CLIP succesvol is getraind op miljarden schaalbare afbeelding-tekst paren uit de Engelstalige wereld, blijft het opschalen van CLIP's training naar het leren van wereldwijde webgegevens een uitdaging: (1) er is geen curatiemethode beschikbaar om gegevenspunten uit niet-Engelstalige werelden te verwerken; (2) de Engelse prestaties van bestaande meertalige CLIP-modellen zijn slechter dan hun Engelstalige tegenhangers, een fenomeen dat bekend staat als de "vloek van meertaligheid" en dat veel voorkomt in grote taalmodellen (LLMs). Hier presenteren we MetaCLIP 2, het eerste recept voor het trainen van CLIP vanaf nul op wereldwijde web-schaalbare afbeelding-tekst paren. Om onze bevindingen te generaliseren, voeren we rigoureuze ablatie-onderzoeken uit met minimale wijzigingen die nodig zijn om de bovenstaande uitdagingen aan te pakken en presenteren we een recept dat wederzijdse voordelen biedt van gegevens uit de Engelstalige en niet-Engelstalige wereld. In zero-shot ImageNet-classificatie overtreft MetaCLIP 2 ViT-H/14 zijn Engelstalige tegenhanger met 0,8% en mSigLIP met 0,7%, en verrast het door nieuwe state-of-the-art resultaten te behalen zonder systeemniveau verstorende factoren (bijv. vertaling, specifieke architectuurwijzigingen) op meertalige benchmarks, zoals CVQA met 57,4%, Babel-ImageNet met 50,2% en XM3600 met 64,3% op afbeelding-naar-tekst retrieval.
English
Contrastive Language-Image Pretraining (CLIP) is a popular foundation model,
supporting from zero-shot classification, retrieval to encoders for multimodal
large language models (MLLMs). Although CLIP is successfully trained on
billion-scale image-text pairs from the English world, scaling CLIP's training
further to learning from the worldwide web data is still challenging: (1) no
curation method is available to handle data points from non-English world; (2)
the English performance from existing multilingual CLIP is worse than its
English-only counterpart, i.e., "curse of multilinguality" that is common in
LLMs. Here, we present MetaCLIP 2, the first recipe training CLIP from scratch
on worldwide web-scale image-text pairs. To generalize our findings, we conduct
rigorous ablations with minimal changes that are necessary to address the above
challenges and present a recipe enabling mutual benefits from English and
non-English world data. In zero-shot ImageNet classification, MetaCLIP 2
ViT-H/14 surpasses its English-only counterpart by 0.8% and mSigLIP by 0.7%,
and surprisingly sets new state-of-the-art without system-level confounding
factors (e.g., translation, bespoke architecture changes) on multilingual
benchmarks, such as CVQA with 57.4%, Babel-ImageNet with 50.2% and XM3600 with
64.3% on image-to-text retrieval.