Aya Model: Un Modello Linguistico Multilingue ad Accesso Aperto Ottimizzato per Istruzioni
Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
February 12, 2024
Autori: Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shayne Longpre, Niklas Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker
cs.AI
Abstract
Le recenti scoperte nei modelli linguistici di grandi dimensioni (LLM) si sono concentrate su un numero ristretto di lingue ricche di dati. Cosa serve per ampliare l'accesso a queste scoperte oltre le lingue considerate di prima classe? Il nostro lavoro introduce Aya, un modello linguistico generativo massivamente multilingue che segue istruzioni in 101 lingue, di cui oltre il 50% sono considerate a risorse limitate. Aya supera mT0 e BLOOMZ nella maggior parte dei compiti, coprendo il doppio delle lingue. Introduciamo ampie suite di valutazione che ampliano lo stato dell'arte per la valutazione multilingue in 99 lingue, includendo compiti discriminativi e generativi, valutazione umana e tassi di vittoria simulati che coprono sia compiti non visti che prestazioni in-distribuzione. Inoltre, conduciamo indagini dettagliate sulla composizione ottimale della miscela di fine-tuning, sulla potatura dei dati, nonché sulla tossicità, i pregiudizi e la sicurezza dei nostri modelli. Rendiamo open-source i nostri dataset di istruzioni e il nostro modello all'indirizzo https://hf.co/CohereForAI/aya-101.
English
Recent breakthroughs in large language models (LLMs) have centered around a
handful of data-rich languages. What does it take to broaden access to
breakthroughs beyond first-class citizen languages? Our work introduces Aya, a
massively multilingual generative language model that follows instructions in
101 languages of which over 50% are considered as lower-resourced. Aya
outperforms mT0 and BLOOMZ on the majority of tasks while covering double the
number of languages. We introduce extensive new evaluation suites that broaden
the state-of-art for multilingual eval across 99 languages -- including
discriminative and generative tasks, human evaluation, and simulated win rates
that cover both held-out tasks and in-distribution performance. Furthermore, we
conduct detailed investigations on the optimal finetuning mixture composition,
data pruning, as well as the toxicity, bias, and safety of our models. We
open-source our instruction datasets and our model at
https://hf.co/CohereForAI/aya-101