Aya Model: Een Instructiegefinetuned Open-Access Meertalig Taalmodel
Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
February 12, 2024
Auteurs: Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shayne Longpre, Niklas Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker
cs.AI
Samenvatting
Recente doorbraken in grote taalmodellen (LLMs) hebben zich vooral gericht op een handvol data-rijke talen. Wat is er nodig om de toegang tot deze doorbraken uit te breiden voorbij de eersteklas talen? Ons werk introduceert Aya, een enorm meertalig generatief taalmodel dat instructies volgt in 101 talen, waarvan meer dan 50% als minder goed voorzien van bronnen worden beschouwd. Aya presteert beter dan mT0 en BLOOMZ op de meeste taken, terwijl het tweemaal zoveel talen bestrijkt. We introduceren uitgebreide nieuwe evaluatiesuites die de stand van de techniek voor meertalige evaluatie uitbreiden over 99 talen — inclusief discriminerende en generatieve taken, menselijke evaluatie en gesimuleerde winpercentages die zowel niet-geziene taken als in-distributieprestaties omvatten. Daarnaast voeren we gedetailleerde onderzoeken uit naar de optimale samenstelling van de finetuning-mix, datapruning, evenals de toxiciteit, bias en veiligheid van onze modellen. We maken onze instructiedatasets en ons model openbaar op https://hf.co/CohereForAI/aya-101.
English
Recent breakthroughs in large language models (LLMs) have centered around a
handful of data-rich languages. What does it take to broaden access to
breakthroughs beyond first-class citizen languages? Our work introduces Aya, a
massively multilingual generative language model that follows instructions in
101 languages of which over 50% are considered as lower-resourced. Aya
outperforms mT0 and BLOOMZ on the majority of tasks while covering double the
number of languages. We introduce extensive new evaluation suites that broaden
the state-of-art for multilingual eval across 99 languages -- including
discriminative and generative tasks, human evaluation, and simulated win rates
that cover both held-out tasks and in-distribution performance. Furthermore, we
conduct detailed investigations on the optimal finetuning mixture composition,
data pruning, as well as the toxicity, bias, and safety of our models. We
open-source our instruction datasets and our model at
https://hf.co/CohereForAI/aya-101