Modelo Aya: Um Modelo de Linguagem Multilíngue de Acesso Aberto Ajustado por Instrução
Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
February 12, 2024
Autores: Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shayne Longpre, Niklas Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker
cs.AI
Resumo
Os recentes avanços em modelos de linguagem de grande escala (LLMs) têm se concentrado em um pequeno número de idiomas ricos em dados. O que é necessário para ampliar o acesso a esses avanços além dos idiomas considerados de primeira classe? Nosso trabalho apresenta o Aya, um modelo de linguagem generativo massivamente multilíngue que segue instruções em 101 idiomas, dos quais mais de 50% são considerados de baixo recurso. O Aya supera o mT0 e o BLOOMZ na maioria das tarefas, enquanto cobre o dobro do número de idiomas. Introduzimos novos e extensos conjuntos de avaliação que ampliam o estado da arte para avaliação multilíngue em 99 idiomas — incluindo tarefas discriminativas e generativas, avaliação humana e taxas de vitória simuladas que abrangem tanto tarefas retidas quanto desempenho em distribuição. Além disso, conduzimos investigações detalhadas sobre a composição ideal da mistura de ajuste fino, poda de dados, bem como a toxicidade, viés e segurança de nossos modelos. Disponibilizamos publicamente nossos conjuntos de dados de instrução e nosso modelo em https://hf.co/CohereForAI/aya-101.
English
Recent breakthroughs in large language models (LLMs) have centered around a
handful of data-rich languages. What does it take to broaden access to
breakthroughs beyond first-class citizen languages? Our work introduces Aya, a
massively multilingual generative language model that follows instructions in
101 languages of which over 50% are considered as lower-resourced. Aya
outperforms mT0 and BLOOMZ on the majority of tasks while covering double the
number of languages. We introduce extensive new evaluation suites that broaden
the state-of-art for multilingual eval across 99 languages -- including
discriminative and generative tasks, human evaluation, and simulated win rates
that cover both held-out tasks and in-distribution performance. Furthermore, we
conduct detailed investigations on the optimal finetuning mixture composition,
data pruning, as well as the toxicity, bias, and safety of our models. We
open-source our instruction datasets and our model at
https://hf.co/CohereForAI/aya-101