Pangea: Un LLM Multilingüe Multimodal Totalmente Abierto para 39 Idiomas

Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

October 21, 2024

Autores: Xiang Yue, Yueqi Song, Akari Asai, Seungone Kim, Jean de Dieu Nyandwi, Simran Khanuja, Anjali Kantharuban, Lintang Sutawika, Sathyanarayanan Ramamoorthy, Graham Neubig

cs.AI

Resumen

A pesar de los avances recientes en modelos de lenguaje multimodales de gran tamaño (MLLMs), su desarrollo se ha centrado predominantemente en conjuntos de datos y tareas en inglés y occidentales, dejando la mayoría de los idiomas del mundo y diversos contextos culturales subrepresentados. Este artículo presenta Pangea, un MLLM multilingüe multimodal entrenado en PangeaIns, un conjunto de datos diverso de 6 millones de instrucciones que abarca 39 idiomas. PangeaIns presenta: 1) instrucciones en inglés de alta calidad, 2) instrucciones traducidas cuidadosamente por máquina y 3) tareas multimodales culturalmente relevantes para garantizar una cobertura intercultural. Para evaluar rigurosamente las capacidades de los modelos, presentamos PangeaBench, un conjunto de evaluación integral que abarca 14 conjuntos de datos que cubren 47 idiomas. Los resultados muestran que Pangea supera significativamente a los modelos de código abierto existentes en entornos multilingües y diversos contextos culturales. Estudios de abstracción revelan además la importancia de las proporciones de datos en inglés, la popularidad del idioma y el número de muestras de entrenamiento multimodales en el rendimiento general. Ponemos completamente en código abierto nuestros datos, código y puntos de control entrenados, para facilitar el desarrollo de MLLMs multilingües inclusivos y robustos, promoviendo la equidad y accesibilidad en un espectro lingüístico y cultural más amplio.

English

Despite recent advances in multimodal large language models (MLLMs), their development has predominantly focused on English- and western-centric datasets and tasks, leaving most of the world's languages and diverse cultural contexts underrepresented. This paper introduces Pangea, a multilingual multimodal LLM trained on PangeaIns, a diverse 6M instruction dataset spanning 39 languages. PangeaIns features: 1) high-quality English instructions, 2) carefully machine-translated instructions, and 3) culturally relevant multimodal tasks to ensure cross-cultural coverage. To rigorously assess models' capabilities, we introduce PangeaBench, a holistic evaluation suite encompassing 14 datasets covering 47 languages. Results show that Pangea significantly outperforms existing open-source models in multilingual settings and diverse cultural contexts. Ablation studies further reveal the importance of English data proportions, language popularity, and the number of multimodal training samples on overall performance. We fully open-source our data, code, and trained checkpoints, to facilitate the development of inclusive and robust multilingual MLLMs, promoting equity and accessibility across a broader linguistic and cultural spectrum.