Pangea: Um LLM Multilíngue Multimodal Totalmente Aberto para 39 Idiomas

Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

October 21, 2024

Autores: Xiang Yue, Yueqi Song, Akari Asai, Seungone Kim, Jean de Dieu Nyandwi, Simran Khanuja, Anjali Kantharuban, Lintang Sutawika, Sathyanarayanan Ramamoorthy, Graham Neubig

cs.AI

Resumo

Apesar dos avanços recentes em modelos de linguagem multimodais de grande escala (MLLMs), seu desenvolvimento tem se concentrado predominantemente em conjuntos de dados e tarefas em inglês e ocidentais, deixando a maioria dos idiomas do mundo e contextos culturais diversos sub-representados. Este artigo apresenta o Pangea, um MLLM multilíngue multimodal treinado no PangeaIns, um conjunto de dados de instruções diverso com 6 milhões de exemplos abrangendo 39 idiomas. O PangeaIns apresenta: 1) instruções em inglês de alta qualidade, 2) instruções traduzidas cuidadosamente por máquina e 3) tarefas multimodais culturalmente relevantes para garantir uma cobertura intercultural. Para avaliar rigorosamente as capacidades dos modelos, introduzimos o PangeaBench, um conjunto abrangente de avaliação que engloba 14 conjuntos de dados cobrindo 47 idiomas. Os resultados mostram que o Pangea supera significativamente os modelos de código aberto existentes em ambientes multilíngues e contextos culturais diversos. Estudos de ablação também revelam a importância das proporções de dados em inglês, da popularidade do idioma e do número de amostras de treinamento multimodais no desempenho geral. Disponibilizamos totalmente nossos dados, código e pontos de verificação treinados, para facilitar o desenvolvimento de MLLMs multilíngues inclusivos e robustos, promovendo equidade e acessibilidade em um espectro linguístico e cultural mais amplo.

English

Despite recent advances in multimodal large language models (MLLMs), their development has predominantly focused on English- and western-centric datasets and tasks, leaving most of the world's languages and diverse cultural contexts underrepresented. This paper introduces Pangea, a multilingual multimodal LLM trained on PangeaIns, a diverse 6M instruction dataset spanning 39 languages. PangeaIns features: 1) high-quality English instructions, 2) carefully machine-translated instructions, and 3) culturally relevant multimodal tasks to ensure cross-cultural coverage. To rigorously assess models' capabilities, we introduce PangeaBench, a holistic evaluation suite encompassing 14 datasets covering 47 languages. Results show that Pangea significantly outperforms existing open-source models in multilingual settings and diverse cultural contexts. Ablation studies further reveal the importance of English data proportions, language popularity, and the number of multimodal training samples on overall performance. We fully open-source our data, code, and trained checkpoints, to facilitate the development of inclusive and robust multilingual MLLMs, promoting equity and accessibility across a broader linguistic and cultural spectrum.