mOSCAR: Un corpus multilingüe y multimodal a nivel de documento a gran escala

mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus

June 13, 2024

Autores: Matthieu Futeral, Armel Zebaze, Pedro Ortiz Suarez, Julien Abadji, Rémi Lacroix, Cordelia Schmid, Rachel Bawden, Benoît Sagot

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales a Gran Escala (mLLMs, por sus siglas en inglés) se entrenan con una gran cantidad de datos de texto e imágenes. Si bien la mayoría de los mLLMs se entrenan únicamente con datos similares a descripciones, Alayrac et al. [2022] demostraron que entrenarlos adicionalmente con secuencias intercaladas de texto e imágenes puede dar lugar a la aparición de capacidades de aprendizaje en contexto. Sin embargo, el conjunto de datos que utilizaron, M3W, no es público y está únicamente en inglés. Se han realizado intentos para reproducir sus resultados, pero los conjuntos de datos publicados están exclusivamente en inglés. En contraste, los conjuntos de datos multilingües y multimodales actuales están compuestos únicamente de datos similares a descripciones, son de escala media o completamente privados. Esto limita la investigación en mLLMs para las 7,000 lenguas adicionales que se hablan en el mundo. Por ello, presentamos mOSCAR, que, hasta donde sabemos, es el primer corpus de documentos multilingüe y multimodal a gran escala extraído de la web. Cubre 163 idiomas, 315 millones de documentos, 214 mil millones de tokens y 1.2 mil millones de imágenes. Realizamos cuidadosamente un conjunto de pasos de filtrado y evaluación para asegurar que mOSCAR sea lo suficientemente seguro, diverso y de buena calidad. Además, entrenamos dos tipos de modelos multilingües para demostrar los beneficios de mOSCAR: (1) un modelo entrenado con un subconjunto de mOSCAR y datos de descripción, y (2) un modelo entrenado únicamente con datos de descripción. El modelo entrenado adicionalmente con mOSCAR muestra un fuerte impulso en el rendimiento de aprendizaje con pocos ejemplos en diversas tareas y benchmarks multilingües de texto-imagen, confirmando hallazgos previos para mLLMs exclusivamente en inglés.

English

Multimodal Large Language Models (mLLMs) are trained on a large amount of text-image data. While most mLLMs are trained on caption-like data only, Alayrac et al. [2022] showed that additionally training them on interleaved sequences of text and images can lead to the emergence of in-context learning capabilities. However, the dataset they used, M3W, is not public and is only in English. There have been attempts to reproduce their results but the released datasets are English-only. In contrast, current multilingual and multimodal datasets are either composed of caption-like only or medium-scale or fully private data. This limits mLLM research for the 7,000 other languages spoken in the world. We therefore introduce mOSCAR, to the best of our knowledge the first large-scale multilingual and multimodal document corpus crawled from the web. It covers 163 languages, 315M documents, 214B tokens and 1.2B images. We carefully conduct a set of filtering and evaluation steps to make sure mOSCAR is sufficiently safe, diverse and of good quality. We additionally train two types of multilingual model to prove the benefits of mOSCAR: (1) a model trained on a subset of mOSCAR and captioning data and (2) a model train on captioning data only. The model additionally trained on mOSCAR shows a strong boost in few-shot learning performance across various multilingual image-text tasks and benchmarks, confirming previous findings for English-only mLLMs.