パンゲア：39言語向けの完全にオープンな多言語マルチモーダルLLM

Pangea: A Fully Open Multilingual Multimodal LLM for 39 Languages

October 21, 2024

著者: Xiang Yue, Yueqi Song, Akari Asai, Seungone Kim, Jean de Dieu Nyandwi, Simran Khanuja, Anjali Kantharuban, Lintang Sutawika, Sathyanarayanan Ramamoorthy, Graham Neubig

cs.AI

要旨

最近の多言語マルチモーダル大規模言語モデル（MLLMs）の進歩にもかかわらず、その開発は主に英語および西洋中心のデータセットやタスクに焦点を当てており、世界の多くの言語や多様な文化的文脈が不十分である。本論文では、39言語にわたる多様な6MのインストラクションデータセットであるPangeaInsでトレーニングされた多言語マルチモーダルLLMであるPangeaを紹介する。PangeaInsには、1) 高品質な英語のインストラクション、2) 注意深く機械翻訳されたインストラクション、および3) 複数文化にわたるカバレッジを確保するための文化的に関連するマルチモーダルタスクが特徴として含まれている。モデルの能力を厳密に評価するために、47言語をカバーする14のデータセットを含む包括的な評価スイートであるPangeaBenchを導入する。結果は、Pangeaが既存のオープンソースモデルを多言語環境や多様な文化的文脈で大幅に上回ることを示している。アブレーション研究は、全体的なパフォーマンスに対する英語データの割合、言語の人気度、およびマルチモーダルトレーニングサンプルの数の重要性をさらに明らかにしている。私たちは、包括的で堅牢な多言語MLLMsの開発を促進し、より広範な言語および文化的スペクトラム全体での公正さとアクセシビリティを推進するために、データ、コード、トレーニング済みのチェックポイントを完全にオープンソース化している。

English

Despite recent advances in multimodal large language models (MLLMs), their development has predominantly focused on English- and western-centric datasets and tasks, leaving most of the world's languages and diverse cultural contexts underrepresented. This paper introduces Pangea, a multilingual multimodal LLM trained on PangeaIns, a diverse 6M instruction dataset spanning 39 languages. PangeaIns features: 1) high-quality English instructions, 2) carefully machine-translated instructions, and 3) culturally relevant multimodal tasks to ensure cross-cultural coverage. To rigorously assess models' capabilities, we introduce PangeaBench, a holistic evaluation suite encompassing 14 datasets covering 47 languages. Results show that Pangea significantly outperforms existing open-source models in multilingual settings and diverse cultural contexts. Ablation studies further reveal the importance of English data proportions, language popularity, and the number of multimodal training samples on overall performance. We fully open-source our data, code, and trained checkpoints, to facilitate the development of inclusive and robust multilingual MLLMs, promoting equity and accessibility across a broader linguistic and cultural spectrum.