mOSCAR: Un corpus multilingue e multimodale su larga scala a livello di documento

mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus

June 13, 2024

Autori: Matthieu Futeral, Armel Zebaze, Pedro Ortiz Suarez, Julien Abadji, Rémi Lacroix, Cordelia Schmid, Rachel Bawden, Benoît Sagot

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Scala (mLLM) vengono addestrati su una vasta quantità di dati testo-immagine. Mentre la maggior parte degli mLLM viene addestrata solo su dati simili a didascalie, Alayrac et al. [2022] hanno dimostrato che un addestramento aggiuntivo su sequenze intercalate di testo e immagini può portare all'emergere di capacità di apprendimento in contesto. Tuttavia, il dataset da loro utilizzato, M3W, non è pubblico ed è disponibile solo in inglese. Ci sono stati tentativi di riprodurre i loro risultati, ma i dataset rilasciati sono esclusivamente in inglese. Al contrario, gli attuali dataset multilingue e multimodali sono composti solo da dati simili a didascalie, sono di scala media o completamente privati. Ciò limita la ricerca sugli mLLM per le altre 7.000 lingue parlate nel mondo. Introduciamo quindi mOSCAR, che a nostra conoscenza è il primo corpus documentale multilingue e multimodale di grande scala estratto dal web. Copre 163 lingue, 315 milioni di documenti, 214 miliardi di token e 1,2 miliardi di immagini. Abbiamo condotto con attenzione una serie di passaggi di filtraggio e valutazione per garantire che mOSCAR sia sufficientemente sicuro, diversificato e di buona qualità. Inoltre, abbiamo addestrato due tipi di modello multilingue per dimostrare i vantaggi di mOSCAR: (1) un modello addestrato su un sottoinsieme di mOSCAR e dati di didascalie e (2) un modello addestrato solo su dati di didascalie. Il modello addestrato ulteriormente su mOSCAR mostra un forte miglioramento nelle prestazioni di apprendimento few-shot su vari compiti e benchmark multilingue di testo-immagine, confermando i risultati precedenti ottenuti con mLLM esclusivamente in inglese.

English

Multimodal Large Language Models (mLLMs) are trained on a large amount of text-image data. While most mLLMs are trained on caption-like data only, Alayrac et al. [2022] showed that additionally training them on interleaved sequences of text and images can lead to the emergence of in-context learning capabilities. However, the dataset they used, M3W, is not public and is only in English. There have been attempts to reproduce their results but the released datasets are English-only. In contrast, current multilingual and multimodal datasets are either composed of caption-like only or medium-scale or fully private data. This limits mLLM research for the 7,000 other languages spoken in the world. We therefore introduce mOSCAR, to the best of our knowledge the first large-scale multilingual and multimodal document corpus crawled from the web. It covers 163 languages, 315M documents, 214B tokens and 1.2B images. We carefully conduct a set of filtering and evaluation steps to make sure mOSCAR is sufficiently safe, diverse and of good quality. We additionally train two types of multilingual model to prove the benefits of mOSCAR: (1) a model trained on a subset of mOSCAR and captioning data and (2) a model train on captioning data only. The model additionally trained on mOSCAR shows a strong boost in few-shot learning performance across various multilingual image-text tasks and benchmarks, confirming previous findings for English-only mLLMs.