MINT-1T: Escalando los datos multimodales de código abierto por 10x: Un conjunto de datos multimodal con un billón de tokens

MINT-1T: Scaling Open-Source Multimodal Data by 10x: A Multimodal Dataset with One Trillion Tokens

June 17, 2024

Autores: Anas Awadalla, Le Xue, Oscar Lo, Manli Shu, Hannah Lee, Etash Kumar Guha, Matt Jordan, Sheng Shen, Mohamed Awadalla, Silvio Savarese, Caiming Xiong, Ran Xu, Yejin Choi, Ludwig Schmidt

cs.AI

Resumen

Los conjuntos de datos intercalados multimodales que presentan secuencias intercaladas de forma libre de imágenes y texto son cruciales para entrenar modelos multimodales grandes (LMMs) de vanguardia. A pesar del rápido avance de los LMMs de código abierto, sigue existiendo una notable escasez de conjuntos de datos intercalados multimodales a gran escala y diversos de código abierto. En respuesta, presentamos MINT-1T, el conjunto de datos Multimodal INTerleaved más extenso y diverso de código abierto hasta la fecha. MINT-1T comprende un billón de tokens de texto y tres mil millones de imágenes, un aumento de 10 veces en escala respecto a los conjuntos de datos de código abierto existentes. Además, incluimos fuentes previamente no explotadas, como PDFs y artículos de ArXiv. Dado que escalar conjuntos de datos intercalados multimodales requiere un esfuerzo de ingeniería sustancial, compartir el proceso de curación de datos y liberar el conjunto de datos beneficia enormemente a la comunidad. Nuestros experimentos muestran que los LMMs entrenados en MINT-1T rivalizan con el rendimiento de los modelos entrenados en el conjunto de datos líder anterior, OBELICS. Nuestros datos y código serán liberados en https://github.com/mlfoundations/MINT-1T.

English

Multimodal interleaved datasets featuring free-form interleaved sequences of images and text are crucial for training frontier large multimodal models (LMMs). Despite the rapid progression of open-source LMMs, there remains a pronounced scarcity of large-scale, diverse open-source multimodal interleaved datasets. In response, we introduce MINT-1T, the most extensive and diverse open-source Multimodal INTerleaved dataset to date. MINT-1T comprises one trillion text tokens and three billion images, a 10x scale-up from existing open-source datasets. Additionally, we include previously untapped sources such as PDFs and ArXiv papers. As scaling multimodal interleaved datasets requires substantial engineering effort, sharing the data curation process and releasing the dataset greatly benefits the community. Our experiments show that LMMs trained on MINT-1T rival the performance of models trained on the previous leading dataset, OBELICS. Our data and code will be released at https://github.com/mlfoundations/MINT-1T.