MINT-1T: Escalonando Dados Multimodais de Código Aberto em 10x: Um Conjunto de Dados Multimodal com Um Trilhão de Tokens

MINT-1T: Scaling Open-Source Multimodal Data by 10x: A Multimodal Dataset with One Trillion Tokens

June 17, 2024

Autores: Anas Awadalla, Le Xue, Oscar Lo, Manli Shu, Hannah Lee, Etash Kumar Guha, Matt Jordan, Sheng Shen, Mohamed Awadalla, Silvio Savarese, Caiming Xiong, Ran Xu, Yejin Choi, Ludwig Schmidt

cs.AI

Resumo

Conjuntos de dados intercalados multimodais que apresentam sequências intercaladas de forma livre de imagens e texto são cruciais para o treinamento de modelos multimodais de grande escala (LMMs) de ponta. Apesar do rápido avanço dos LMMs de código aberto, ainda há uma escassez significativa de conjuntos de dados intercalados multimodais de grande escala e diversificados disponíveis publicamente. Em resposta, apresentamos o MINT-1T, o conjunto de dados Multimodal INTerleaved mais extenso e diversificado de código aberto até o momento. O MINT-1T compreende um trilhão de tokens de texto e três bilhões de imagens, representando um aumento de 10 vezes em escala em relação aos conjuntos de dados de código aberto existentes. Além disso, incluímos fontes anteriormente não exploradas, como PDFs e artigos do ArXiv. Como a escalabilidade de conjuntos de dados intercalados multimodais requer um esforço de engenharia substancial, compartilhar o processo de curadoria de dados e liberar o conjunto de dados beneficia enormemente a comunidade. Nossos experimentos mostram que os LMMs treinados no MINT-1T rivalizam com o desempenho dos modelos treinados no conjunto de dados líder anterior, o OBELICS. Nossos dados e código serão liberados em https://github.com/mlfoundations/MINT-1T.

English

Multimodal interleaved datasets featuring free-form interleaved sequences of images and text are crucial for training frontier large multimodal models (LMMs). Despite the rapid progression of open-source LMMs, there remains a pronounced scarcity of large-scale, diverse open-source multimodal interleaved datasets. In response, we introduce MINT-1T, the most extensive and diverse open-source Multimodal INTerleaved dataset to date. MINT-1T comprises one trillion text tokens and three billion images, a 10x scale-up from existing open-source datasets. Additionally, we include previously untapped sources such as PDFs and ArXiv papers. As scaling multimodal interleaved datasets requires substantial engineering effort, sharing the data curation process and releasing the dataset greatly benefits the community. Our experiments show that LMMs trained on MINT-1T rival the performance of models trained on the previous leading dataset, OBELICS. Our data and code will be released at https://github.com/mlfoundations/MINT-1T.