mOSCAR: Крупномасштабный многоязычный и мультимодальный корпус на уровне документа

mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus

June 13, 2024

Авторы: Matthieu Futeral, Armel Zebaze, Pedro Ortiz Suarez, Julien Abadji, Rémi Lacroix, Cordelia Schmid, Rachel Bawden, Benoît Sagot

cs.AI

Аннотация

Многомодальные крупные языковые модели (mLLM) обучаются на большом объеме текстовых и изображений данных. В то время как большинство mLLM обучаются только на данных в формате подписей, Alayrac и др. [2022] показали, что дополнительное обучение их на чередующихся последовательностях текста и изображений может привести к появлению возможностей контекстного обучения. Однако набор данных, который они использовали, M3W, не является общедоступным и доступен только на английском языке. Предпринимались попытки воспроизвести их результаты, но опубликованные наборы данных доступны только на английском языке. В отличие от этого, текущие многоязычные и многомодальные наборы данных либо состоят только из данных в формате подписей, либо имеют средний масштаб или полностью закрытые данные. Это ограничивает исследования mLLM для 7 000 других языков, используемых в мире. Поэтому мы представляем mOSCAR, насколько нам известно, первый крупномасштабный многоязычный и многомодальный документальный корпус, собранный из сети Интернет. Он охватывает 163 языка, 315 млн документов, 214 млрд токенов и 1,2 млрд изображений. Мы тщательно проводим ряд этапов фильтрации и оценки, чтобы убедиться, что mOSCAR достаточно безопасен, разнообразен и высокого качества. Мы дополнительно обучаем два типа многоязычной модели, чтобы продемонстрировать преимущества mOSCAR: (1) модель, обученная на подмножестве mOSCAR и данных о подписях, и (2) модель, обученная только на данных о подписях. Модель, дополнительно обученная на mOSCAR, показывает значительное улучшение производительности обучения с небольшим количеством данных на различных многоязычных задачах изображения-текст и бенчмарках, подтверждая предыдущие результаты для mLLM только на английском языке.

English

Multimodal Large Language Models (mLLMs) are trained on a large amount of text-image data. While most mLLMs are trained on caption-like data only, Alayrac et al. [2022] showed that additionally training them on interleaved sequences of text and images can lead to the emergence of in-context learning capabilities. However, the dataset they used, M3W, is not public and is only in English. There have been attempts to reproduce their results but the released datasets are English-only. In contrast, current multilingual and multimodal datasets are either composed of caption-like only or medium-scale or fully private data. This limits mLLM research for the 7,000 other languages spoken in the world. We therefore introduce mOSCAR, to the best of our knowledge the first large-scale multilingual and multimodal document corpus crawled from the web. It covers 163 languages, 315M documents, 214B tokens and 1.2B images. We carefully conduct a set of filtering and evaluation steps to make sure mOSCAR is sufficiently safe, diverse and of good quality. We additionally train two types of multilingual model to prove the benefits of mOSCAR: (1) a model trained on a subset of mOSCAR and captioning data and (2) a model train on captioning data only. The model additionally trained on mOSCAR shows a strong boost in few-shot learning performance across various multilingual image-text tasks and benchmarks, confirming previous findings for English-only mLLMs.