mOSCAR: Een grootschalig meertalig en multimodaal corpus op documentniveau
mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus
June 13, 2024
Auteurs: Matthieu Futeral, Armel Zebaze, Pedro Ortiz Suarez, Julien Abadji, Rémi Lacroix, Cordelia Schmid, Rachel Bawden, Benoît Sagot
cs.AI
Samenvatting
Multimodale Large Language Models (mLLMs) worden getraind op een grote hoeveelheid tekst- en beeldgegevens. Hoewel de meeste mLLMs alleen worden getraind op bijschriftachtige gegevens, toonden Alayrac et al. [2022] aan dat aanvullende training op afwisselende sequenties van tekst en afbeeldingen kan leiden tot het ontstaan van in-context leercapaciteiten. Het dataset dat zij gebruikten, M3W, is echter niet openbaar en is alleen beschikbaar in het Engels. Er zijn pogingen gedaan om hun resultaten te reproduceren, maar de vrijgegeven datasets zijn alleen in het Engels. In tegenstelling hiermee bestaan huidige meertalige en multimodale datasets uit ofwel alleen bijschriftachtige gegevens, ofwel middelgrote of volledig privé gegevens. Dit beperkt mLLM-onderzoek voor de 7.000 andere talen die wereldwijd worden gesproken. Daarom introduceren wij mOSCAR, voor zover wij weten het eerste grootschalige meertalige en multimodale documentencorpus dat van het web is gecrawld. Het omvat 163 talen, 315M documenten, 214B tokens en 1,2B afbeeldingen. We voeren zorgvuldig een reeks filter- en evaluatiestappen uit om ervoor te zorgen dat mOSCAR voldoende veilig, divers en van goede kwaliteit is. Daarnaast trainen we twee soorten meertalige modellen om de voordelen van mOSCAR aan te tonen: (1) een model getraind op een subset van mOSCAR en bijschriftgegevens en (2) een model getraind op alleen bijschriftgegevens. Het model dat aanvullend op mOSCAR is getraind, laat een sterke verbetering zien in few-shot leerprestaties over verschillende meertalige beeld-tekst taken en benchmarks, wat eerdere bevindingen voor alleen Engelstalige mLLMs bevestigt.
English
Multimodal Large Language Models (mLLMs) are trained on a large amount of
text-image data. While most mLLMs are trained on caption-like data only,
Alayrac et al. [2022] showed that additionally training them on interleaved
sequences of text and images can lead to the emergence of in-context learning
capabilities. However, the dataset they used, M3W, is not public and is only in
English. There have been attempts to reproduce their results but the released
datasets are English-only. In contrast, current multilingual and multimodal
datasets are either composed of caption-like only or medium-scale or fully
private data. This limits mLLM research for the 7,000 other languages spoken in
the world. We therefore introduce mOSCAR, to the best of our knowledge the
first large-scale multilingual and multimodal document corpus crawled from the
web. It covers 163 languages, 315M documents, 214B tokens and 1.2B images. We
carefully conduct a set of filtering and evaluation steps to make sure mOSCAR
is sufficiently safe, diverse and of good quality. We additionally train two
types of multilingual model to prove the benefits of mOSCAR: (1) a model
trained on a subset of mOSCAR and captioning data and (2) a model train on
captioning data only. The model additionally trained on mOSCAR shows a strong
boost in few-shot learning performance across various multilingual image-text
tasks and benchmarks, confirming previous findings for English-only mLLMs.