Пангея: Полностью открытая мультиязычная мультимодальная LLM для 39 языков

Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

October 21, 2024

Авторы: Xiang Yue, Yueqi Song, Akari Asai, Seungone Kim, Jean de Dieu Nyandwi, Simran Khanuja, Anjali Kantharuban, Lintang Sutawika, Sathyanarayanan Ramamoorthy, Graham Neubig

cs.AI

Аннотация

Несмотря на недавние достижения в области мультимодальных крупных языковых моделей (MLLMs), их разработка в основном сосредоточена на англоязычных и западно-центричных наборах данных и задачах, что приводит к недостаточному представлению большинства языков мира и разнообразных культурных контекстов. В данной статье представляется Pangea, многоязычная мультимодальная LLM, обученная на PangeaIns, разнообразном наборе данных из 6 млн инструкций на 39 языках. PangeaIns включает в себя: 1) высококачественные английские инструкции, 2) тщательно машинно переведенные инструкции и 3) культурно значимые мультимодальные задачи для обеспечения кросс-культурного охвата. Для тщательной оценки возможностей моделей мы представляем PangeaBench, комплексный набор оценочных данных, охватывающий 14 наборов данных на 47 языках. Результаты показывают, что Pangea значительно превосходит существующие модели с открытым исходным кодом в мультиязычных средах и разнообразных культурных контекстах. Анализ отказов также показывает важность долей данных на английском языке, популярности языка и количества образцов мультимодального обучения для общей производительности. Мы полностью открываем наши данные, код и обученные контрольные точки, чтобы способствовать развитию инклюзивных и надежных многоязычных LLM, способствуя равенству и доступности по всему более широкому лингвистическому и культурному спектру.

English

Despite recent advances in multimodal large language models (MLLMs), their development has predominantly focused on English- and western-centric datasets and tasks, leaving most of the world's languages and diverse cultural contexts underrepresented. This paper introduces Pangea, a multilingual multimodal LLM trained on PangeaIns, a diverse 6M instruction dataset spanning 39 languages. PangeaIns features: 1) high-quality English instructions, 2) carefully machine-translated instructions, and 3) culturally relevant multimodal tasks to ensure cross-cultural coverage. To rigorously assess models' capabilities, we introduce PangeaBench, a holistic evaluation suite encompassing 14 datasets covering 47 languages. Results show that Pangea significantly outperforms existing open-source models in multilingual settings and diverse cultural contexts. Ablation studies further reveal the importance of English data proportions, language popularity, and the number of multimodal training samples on overall performance. We fully open-source our data, code, and trained checkpoints, to facilitate the development of inclusive and robust multilingual MLLMs, promoting equity and accessibility across a broader linguistic and cultural spectrum.