MINT-1T: Scalabilità dei Dati Multimodali Open-Source di 10x: Un Dataset Multimodale con Un Trilione di Token

MINT-1T: Scaling Open-Source Multimodal Data by 10x: A Multimodal Dataset with One Trillion Tokens

June 17, 2024

Autori: Anas Awadalla, Le Xue, Oscar Lo, Manli Shu, Hannah Lee, Etash Kumar Guha, Matt Jordan, Sheng Shen, Mohamed Awadalla, Silvio Savarese, Caiming Xiong, Ran Xu, Yejin Choi, Ludwig Schmidt

cs.AI

Abstract

I dataset multimodali intervallati che presentano sequenze liberamente intervallate di immagini e testo sono cruciali per l'addestramento di modelli multimodali di grandi dimensioni (LMM) all'avanguardia. Nonostante il rapido progresso degli LMM open-source, persiste una marcata carenza di dataset multimodali intervallati open-source su larga scala e diversificati. In risposta a ciò, presentiamo MINT-1T, il dataset Multimodale INTerleaved open-source più esteso e diversificato fino ad oggi. MINT-1T comprende un trilione di token di testo e tre miliardi di immagini, rappresentando un incremento di 10 volte rispetto ai dataset open-source esistenti. Inoltre, includiamo fonti precedentemente non sfruttate come PDF e articoli di ArXiv. Poiché il ridimensionamento dei dataset multimodali intervallati richiede un notevole sforzo ingegneristico, condividere il processo di curatela dei dati e rilasciare il dataset apporta un grande beneficio alla comunità. I nostri esperimenti dimostrano che gli LMM addestrati su MINT-1T rivaleggiano con le prestazioni dei modelli addestrati sul precedente dataset leader, OBELICS. I nostri dati e il codice saranno rilasciati all'indirizzo https://github.com/mlfoundations/MINT-1T.

English

Multimodal interleaved datasets featuring free-form interleaved sequences of images and text are crucial for training frontier large multimodal models (LMMs). Despite the rapid progression of open-source LMMs, there remains a pronounced scarcity of large-scale, diverse open-source multimodal interleaved datasets. In response, we introduce MINT-1T, the most extensive and diverse open-source Multimodal INTerleaved dataset to date. MINT-1T comprises one trillion text tokens and three billion images, a 10x scale-up from existing open-source datasets. Additionally, we include previously untapped sources such as PDFs and ArXiv papers. As scaling multimodal interleaved datasets requires substantial engineering effort, sharing the data curation process and releasing the dataset greatly benefits the community. Our experiments show that LMMs trained on MINT-1T rival the performance of models trained on the previous leading dataset, OBELICS. Our data and code will be released at https://github.com/mlfoundations/MINT-1T.