Pangea: Un LLM Multilingue Multimodale Completamente Aperto per 39 Lingue

Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

October 21, 2024

Autori: Xiang Yue, Yueqi Song, Akari Asai, Seungone Kim, Jean de Dieu Nyandwi, Simran Khanuja, Anjali Kantharuban, Lintang Sutawika, Sathyanarayanan Ramamoorthy, Graham Neubig

cs.AI

Abstract

Nonostante i recenti progressi nei modelli di linguaggio multimodali di grandi dimensioni (MLLM), lo sviluppo si è concentrato principalmente su set di dati e compiti in lingua inglese e occidentale, lasciando la maggior parte delle lingue del mondo e contesti culturali diversi sottorappresentati. Questo articolo presenta Pangea, un MLLM multimodale multilingue addestrato su PangeaIns, un diversificato set di istruzioni da 6M che copre 39 lingue. PangeaIns include: 1) istruzioni in inglese di alta qualità, 2) istruzioni tradotte con cura tramite macchina e 3) compiti multimodali culturalmente rilevanti per garantire una copertura interculturale. Per valutare rigorosamente le capacità dei modelli, introduciamo PangeaBench, un insieme di valutazioni olistiche che comprende 14 set di dati che coprono 47 lingue. I risultati mostrano che Pangea supera significativamente i modelli open-source esistenti in contesti multilingue e contesti culturali diversi. Studi di ablazione rivelano inoltre l'importanza delle proporzioni dei dati in inglese, della popolarità della lingua e del numero di campioni di addestramento multimodali sulle prestazioni complessive. Rendiamo completamente open-source i nostri dati, codici e checkpoint addestrati, per favorire lo sviluppo di MLLM multilingue inclusivi e robusti, promuovendo equità e accessibilità su un più ampio spettro linguistico e culturale.

English

Despite recent advances in multimodal large language models (MLLMs), their development has predominantly focused on English- and western-centric datasets and tasks, leaving most of the world's languages and diverse cultural contexts underrepresented. This paper introduces Pangea, a multilingual multimodal LLM trained on PangeaIns, a diverse 6M instruction dataset spanning 39 languages. PangeaIns features: 1) high-quality English instructions, 2) carefully machine-translated instructions, and 3) culturally relevant multimodal tasks to ensure cross-cultural coverage. To rigorously assess models' capabilities, we introduce PangeaBench, a holistic evaluation suite encompassing 14 datasets covering 47 languages. Results show that Pangea significantly outperforms existing open-source models in multilingual settings and diverse cultural contexts. Ablation studies further reveal the importance of English data proportions, language popularity, and the number of multimodal training samples on overall performance. We fully open-source our data, code, and trained checkpoints, to facilitate the development of inclusive and robust multilingual MLLMs, promoting equity and accessibility across a broader linguistic and cultural spectrum.