mOSCAR: 大規模多言語・多モーダル文書レベルコーパス

mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus

June 13, 2024

著者: Matthieu Futeral, Armel Zebaze, Pedro Ortiz Suarez, Julien Abadji, Rémi Lacroix, Cordelia Schmid, Rachel Bawden, Benoît Sagot

cs.AI

要旨

マルチモーダル大規模言語モデル（mLLM）は、大量のテキスト-画像データで訓練されています。ほとんどのmLLMはキャプションのようなデータのみで訓練されていますが、Alayracら[2022]は、テキストと画像が交互に並んだシーケンスを追加で訓練することで、文脈内学習能力が発現することを示しました。しかし、彼らが使用したデータセットM3Wは公開されておらず、英語のみです。彼らの結果を再現しようとする試みはありましたが、公開されたデータセットは英語のみでした。一方、現在の多言語・マルチモーダルデータセットは、キャプションのようなデータのみで構成されているか、中規模、あるいは完全に非公開のデータです。これにより、世界で話されている7,000の他の言語に対するmLLM研究が制限されています。そこで私たちは、mOSCARを紹介します。私たちの知る限り、ウェブからクロールされた初の大規模な多言語・マルチモーダル文書コーパスです。163の言語、3億1500万の文書、2140億のトークン、12億の画像をカバーしています。mOSCARが十分に安全で多様かつ高品質であることを確認するため、慎重に一連のフィルタリングと評価ステップを実施しました。さらに、mOSCARの利点を証明するため、2種類の多言語モデルを訓練しました：（1）mOSCARのサブセットとキャプションデータで訓練したモデル、（2）キャプションデータのみで訓練したモデルです。mOSCARを追加で訓練したモデルは、さまざまな多言語画像-テキストタスクとベンチマークにおいて、few-shot学習性能が大幅に向上し、英語のみのmLLMに関する以前の知見を確認しました。

English

Multimodal Large Language Models (mLLMs) are trained on a large amount of text-image data. While most mLLMs are trained on caption-like data only, Alayrac et al. [2022] showed that additionally training them on interleaved sequences of text and images can lead to the emergence of in-context learning capabilities. However, the dataset they used, M3W, is not public and is only in English. There have been attempts to reproduce their results but the released datasets are English-only. In contrast, current multilingual and multimodal datasets are either composed of caption-like only or medium-scale or fully private data. This limits mLLM research for the 7,000 other languages spoken in the world. We therefore introduce mOSCAR, to the best of our knowledge the first large-scale multilingual and multimodal document corpus crawled from the web. It covers 163 languages, 315M documents, 214B tokens and 1.2B images. We carefully conduct a set of filtering and evaluation steps to make sure mOSCAR is sufficiently safe, diverse and of good quality. We additionally train two types of multilingual model to prove the benefits of mOSCAR: (1) a model trained on a subset of mOSCAR and captioning data and (2) a model train on captioning data only. The model additionally trained on mOSCAR shows a strong boost in few-shot learning performance across various multilingual image-text tasks and benchmarks, confirming previous findings for English-only mLLMs.