MINT-1T: Масштабирование открытых мультимодальных данных на 10 раз: мультимодальный набор данных с одним триллионом токенов

MINT-1T: Scaling Open-Source Multimodal Data by 10x: A Multimodal Dataset with One Trillion Tokens

June 17, 2024

Авторы: Anas Awadalla, Le Xue, Oscar Lo, Manli Shu, Hannah Lee, Etash Kumar Guha, Matt Jordan, Sheng Shen, Mohamed Awadalla, Silvio Savarese, Caiming Xiong, Ran Xu, Yejin Choi, Ludwig Schmidt

cs.AI

Аннотация

Мультимодальные переплетенные наборы данных, включающие свободные последовательности изображений и текста, являются ключевыми для обучения передовых крупных мультимодальных моделей (LMM). Несмотря на быстрое развитие открытых LMM, остается явный дефицит крупномасштабных, разнообразных открытых мультимодальных переплетенных наборов данных. В ответ на это мы представляем MINT-1T, самый обширный и разнообразный открытый мультимодальный переплетенный набор данных на сегодняшний день. MINT-1T включает в себя один триллион токенов текста и три миллиарда изображений, что в 10 раз превышает существующие открытые наборы данных. Кроме того, мы включаем ранее не использованные источники, такие как PDF-файлы и статьи ArXiv. Поскольку масштабирование мультимодальных переплетенных наборов данных требует значительных усилий в области инженерии, предоставление процесса курирования данных и выпуск набора данных приносит большую пользу сообществу. Наши эксперименты показывают, что LMM, обученные на MINT-1T, не уступают по производительности моделям, обученным на предыдущем ведущем наборе данных, OBELICS. Наши данные и код будут опубликованы на https://github.com/mlfoundations/MINT-1T.

English

Multimodal interleaved datasets featuring free-form interleaved sequences of images and text are crucial for training frontier large multimodal models (LMMs). Despite the rapid progression of open-source LMMs, there remains a pronounced scarcity of large-scale, diverse open-source multimodal interleaved datasets. In response, we introduce MINT-1T, the most extensive and diverse open-source Multimodal INTerleaved dataset to date. MINT-1T comprises one trillion text tokens and three billion images, a 10x scale-up from existing open-source datasets. Additionally, we include previously untapped sources such as PDFs and ArXiv papers. As scaling multimodal interleaved datasets requires substantial engineering effort, sharing the data curation process and releasing the dataset greatly benefits the community. Our experiments show that LMMs trained on MINT-1T rival the performance of models trained on the previous leading dataset, OBELICS. Our data and code will be released at https://github.com/mlfoundations/MINT-1T.