MINT-1T：オープンソースのマルチモーダルデータを10倍にスケーリング：1兆トークンを超えるマルチモーダルデータセット

要旨

画像とテキストの自由形式な交互配列を特徴とするマルチモーダル交互データセットは、最先端の大規模マルチモーダルモデル（LMM）のトレーニングにおいて極めて重要です。オープンソースのLMMが急速に進化しているにもかかわらず、大規模で多様なオープンソースのマルチモーダル交互データセットは依然として著しく不足しています。これに対応して、私たちはこれまでで最も大規模かつ多様なオープンソースのマルチモーダル交互データセットであるMINT-1Tを紹介します。MINT-1Tは1兆のテキストトークンと30億の画像を含み、既存のオープンソースデータセットから10倍のスケールアップを実現しています。さらに、PDFやArXiv論文など、これまで未活用だったソースも含めています。マルチモーダル交互データセットのスケーリングには多大なエンジニアリング努力が必要であるため、データキュレーションプロセスを共有し、データセットを公開することはコミュニティにとって大きな利益となります。私たちの実験では、MINT-1TでトレーニングされたLMMが、以前の主要なデータセットであるOBELICSでトレーニングされたモデルの性能に匹敵することが示されています。私たちのデータとコードはhttps://github.com/mlfoundations/MINT-1Tで公開されます。

English

Multimodal interleaved datasets featuring free-form interleaved sequences of images and text are crucial for training frontier large multimodal models (LMMs). Despite the rapid progression of open-source LMMs, there remains a pronounced scarcity of large-scale, diverse open-source multimodal interleaved datasets. In response, we introduce MINT-1T, the most extensive and diverse open-source Multimodal INTerleaved dataset to date. MINT-1T comprises one trillion text tokens and three billion images, a 10x scale-up from existing open-source datasets. Additionally, we include previously untapped sources such as PDFs and ArXiv papers. As scaling multimodal interleaved datasets requires substantial engineering effort, sharing the data curation process and releasing the dataset greatly benefits the community. Our experiments show that LMMs trained on MINT-1T rival the performance of models trained on the previous leading dataset, OBELICS. Our data and code will be released at https://github.com/mlfoundations/MINT-1T.

MINT-1T：オープンソースのマルチモーダルデータを10倍にスケーリング：1兆トークンを超えるマルチモーダルデータセット

MINT-1T: Scaling Open-Source Multimodal Data by 10x: A Multimodal Dataset with One Trillion Tokens

要旨

Support