Escalando o Pré-treinamento para Cem Bilhões de Dados para Modelos de Visão Linguagem

Scaling Pre-training to One Hundred Billion Data for Vision Language Models

February 11, 2025

Autores: Xiao Wang, Ibrahim Alabdulmohsin, Daniel Salz, Zhe Li, Keran Rong, Xiaohua Zhai

cs.AI

Resumo

Realizamos uma investigação empírica do potencial de pré-treinamento de modelos visão-linguagem em uma escala sem precedentes: 100 bilhões de exemplos. Descobrimos que o desempenho do modelo tende a saturar nessa escala em muitos benchmarks comuns de classificação e recuperação centrados no Ocidente, como COCO Captions. No entanto, tarefas de diversidade cultural obtêm ganhos mais substanciais a partir dos dados da web em escala de 100 bilhões, graças à sua cobertura de conceitos de cauda longa. Além disso, analisamos a multilinguismo do modelo e mostramos ganhos em idiomas de recursos limitados também. Além disso, observamos que a redução do tamanho do conjunto de dados de pré-treinamento por meio de filtros de qualidade, como o uso do CLIP, geralmente utilizado para melhorar o desempenho, pode inadvertidamente reduzir a diversidade cultural representada, mesmo em conjuntos de dados em grande escala. Nossos resultados destacam que, embora benchmarks tradicionais possam não se beneficiar significativamente da escalabilidade de dados brutos e ruidosos da web para 100 bilhões de exemplos, essa escala de dados é vital para a construção de sistemas multimodais verdadeiramente inclusivos.

English

We provide an empirical investigation of the potential of pre-training vision-language models on an unprecedented scale: 100 billion examples. We find that model performance tends to saturate at this scale on many common Western-centric classification and retrieval benchmarks, such as COCO Captions. Nevertheless, tasks of cultural diversity achieve more substantial gains from the 100-billion scale web data, thanks to its coverage of long-tail concepts. Furthermore, we analyze the model's multilinguality and show gains in low-resource languages as well. In addition, we observe that reducing the size of the pretraining dataset via quality filters like using CLIP, typically used to enhance performance, may inadvertently reduce the cultural diversity represented even in large-scale datasets. Our results highlight that while traditional benchmarks may not benefit significantly from scaling noisy, raw web data to 100 billion examples, this data scale is vital for building truly inclusive multimodal systems.