mOSCAR: Ein umfangreiches mehrsprachiges und multimodales Korpus auf Dokumentenebene

mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus

June 13, 2024

Autoren: Matthieu Futeral, Armel Zebaze, Pedro Ortiz Suarez, Julien Abadji, Rémi Lacroix, Cordelia Schmid, Rachel Bawden, Benoît Sagot

cs.AI

Zusammenfassung

Multimodale Large Language Models (mLLMs) werden auf einer großen Menge von Text-Bild-Daten trainiert. Während die meisten mLLMs nur auf datenähnlichen Bildunterschriften trainiert sind, zeigten Alayrac et al. [2022], dass zusätzliches Training mit ineinander verschachtelten Sequenzen von Text und Bildern zur Entwicklung von Lernfähigkeiten im Kontext führen kann. Allerdings ist der von ihnen verwendete Datensatz, M3W, nicht öffentlich und nur in englischer Sprache verfügbar. Es gab Versuche, ihre Ergebnisse zu reproduzieren, aber die veröffentlichten Datensätze sind nur auf Englisch verfügbar. Im Gegensatz dazu bestehen aktuelle mehrsprachige und multimodale Datensätze entweder nur aus datenähnlichen Bildunterschriften oder aus mittelgroßen oder vollständig privaten Daten. Dies beschränkt die mLLM-Forschung auf die 7.000 anderen Sprachen, die auf der Welt gesprochen werden. Wir stellen daher mOSCAR vor, nach unserem Kenntnisstand das erste groß angelegte mehrsprachige und multimodale Dokumentenkorpus, das aus dem Web gecrawlt wurde. Es umfasst 163 Sprachen, 315 Mio. Dokumente, 214 Mrd. Tokens und 1,2 Mrd. Bilder. Wir führen sorgfältig eine Reihe von Filterungs- und Evaluierungsschritten durch, um sicherzustellen, dass mOSCAR ausreichend sicher, vielfältig und von guter Qualität ist. Zusätzlich trainieren wir zwei Arten von mehrsprachigen Modellen, um die Vorteile von mOSCAR zu belegen: (1) ein Modell, das auf einem Teil von mOSCAR und Bildunterschriften-Daten trainiert ist, und (2) ein Modell, das nur auf Bildunterschriften-Daten trainiert ist. Das Modell, das zusätzlich mit mOSCAR trainiert wurde, zeigt eine deutliche Steigerung der Few-Shot-Lernleistung bei verschiedenen mehrsprachigen Bild-Text-Aufgaben und Benchmarks und bestätigt frühere Ergebnisse für ausschließlich englischsprachige mLLMs.

English

Multimodal Large Language Models (mLLMs) are trained on a large amount of text-image data. While most mLLMs are trained on caption-like data only, Alayrac et al. [2022] showed that additionally training them on interleaved sequences of text and images can lead to the emergence of in-context learning capabilities. However, the dataset they used, M3W, is not public and is only in English. There have been attempts to reproduce their results but the released datasets are English-only. In contrast, current multilingual and multimodal datasets are either composed of caption-like only or medium-scale or fully private data. This limits mLLM research for the 7,000 other languages spoken in the world. We therefore introduce mOSCAR, to the best of our knowledge the first large-scale multilingual and multimodal document corpus crawled from the web. It covers 163 languages, 315M documents, 214B tokens and 1.2B images. We carefully conduct a set of filtering and evaluation steps to make sure mOSCAR is sufficiently safe, diverse and of good quality. We additionally train two types of multilingual model to prove the benefits of mOSCAR: (1) a model trained on a subset of mOSCAR and captioning data and (2) a model train on captioning data only. The model additionally trained on mOSCAR shows a strong boost in few-shot learning performance across various multilingual image-text tasks and benchmarks, confirming previous findings for English-only mLLMs.