Scaling della preformazione a cento miliardi di dati per modelli vision language

Scaling Pre-training to One Hundred Billion Data for Vision Language Models

February 11, 2025

Autori: Xiao Wang, Ibrahim Alabdulmohsin, Daniel Salz, Zhe Li, Keran Rong, Xiaohua Zhai

cs.AI

Abstract

Forniamo un'indagine empirica sul potenziale del pre-training dei modelli visione-linguaggio su una scala senza precedenti: 100 miliardi di esempi. Riscontriamo che le prestazioni del modello tendono a saturarsi a questa scala su molti comuni benchmark di classificazione e recupero occidentali, come COCO Captions. Tuttavia, compiti legati alla diversità culturale ottengono guadagni più consistenti dai dati web su scala di 100 miliardi, grazie alla copertura di concetti di coda lunga. Inoltre, analizziamo la multilinguismo del modello e mostriamo guadagni anche nelle lingue a risorse limitate. Inoltre, osserviamo che ridurre le dimensioni del dataset di pretraining tramite filtri di qualità come l'utilizzo di CLIP, comunemente utilizzato per migliorare le prestazioni, potrebbe ridurre involontariamente la diversità culturale rappresentata anche in dataset su larga scala. I nostri risultati mettono in evidenza che, sebbene i benchmark tradizionali potrebbero non beneficiare significativamente dal ridimensionamento di dati web rumorosi e grezzi a 100 miliardi di esempi, questa scala di dati è vitale per la costruzione di sistemi multimodali veramente inclusivi.

English

We provide an empirical investigation of the potential of pre-training vision-language models on an unprecedented scale: 100 billion examples. We find that model performance tends to saturate at this scale on many common Western-centric classification and retrieval benchmarks, such as COCO Captions. Nevertheless, tasks of cultural diversity achieve more substantial gains from the 100-billion scale web data, thanks to its coverage of long-tail concepts. Furthermore, we analyze the model's multilinguality and show gains in low-resource languages as well. In addition, we observe that reducing the size of the pretraining dataset via quality filters like using CLIP, typically used to enhance performance, may inadvertently reduce the cultural diversity represented even in large-scale datasets. Our results highlight that while traditional benchmarks may not benefit significantly from scaling noisy, raw web data to 100 billion examples, this data scale is vital for building truly inclusive multimodal systems.