Ayaモデル：命令ファインチューニングされたオープンアクセス多言語言語モデル

要旨

大規模言語モデル（LLM）における最近のブレークスルーは、データが豊富な少数の言語に集中している。では、第一級市民言語を超えて、これらのブレークスルーへのアクセスを広げるためには何が必要だろうか？本研究では、101の言語で指示に従う大規模多言語生成言語モデル「Aya」を紹介する。そのうち50％以上は低リソース言語と見なされている。Ayaは、大多数のタスクにおいてmT0とBLOOMZを上回り、かつカバーする言語数を2倍に拡大している。我々は、99の言語にわたる多言語評価の最先端を広げるための広範な新しい評価スイートを導入した。これには、識別タスクと生成タスク、人間による評価、および未見タスクと分布内性能の両方をカバーするシミュレートされた勝率が含まれる。さらに、最適なファインチューニングの混合構成、データのプルーニング、およびモデルの毒性、バイアス、安全性について詳細な調査を行った。我々は、指示データセットとモデルをhttps://hf.co/CohereForAI/aya-101でオープンソースとして公開している。

English

Recent breakthroughs in large language models (LLMs) have centered around a handful of data-rich languages. What does it take to broaden access to breakthroughs beyond first-class citizen languages? Our work introduces Aya, a massively multilingual generative language model that follows instructions in 101 languages of which over 50% are considered as lower-resourced. Aya outperforms mT0 and BLOOMZ on the majority of tasks while covering double the number of languages. We introduce extensive new evaluation suites that broaden the state-of-art for multilingual eval across 99 languages -- including discriminative and generative tasks, human evaluation, and simulated win rates that cover both held-out tasks and in-distribution performance. Furthermore, we conduct detailed investigations on the optimal finetuning mixture composition, data pruning, as well as the toxicity, bias, and safety of our models. We open-source our instruction datasets and our model at https://hf.co/CohereForAI/aya-101

Ayaモデル：命令ファインチューニングされたオープンアクセス多言語言語モデル

Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model

要旨

Support