Modelo Aya: Un Modelo de Lenguaje Multilingüe de Acceso Abierto Ajustado mediante Instrucciones
Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
February 12, 2024
Autores: Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shayne Longpre, Niklas Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker
cs.AI
Resumen
Los avances recientes en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) se han centrado en un puñado de idiomas con abundancia de datos. ¿Qué se necesita para ampliar el acceso a estos avances más allá de los idiomas considerados de primera clase? Nuestro trabajo presenta Aya, un modelo generativo de lenguaje masivamente multilingüe que sigue instrucciones en 101 idiomas, de los cuales más del 50% se consideran de recursos limitados. Aya supera a mT0 y BLOOMZ en la mayoría de las tareas, mientras cubre el doble de idiomas. Introdujimos extensas nuevas suites de evaluación que amplían el estado del arte para la evaluación multilingüe en 99 idiomas, incluyendo tareas discriminativas y generativas, evaluación humana y tasas de éxito simuladas que cubren tanto tareas no vistas como el rendimiento dentro de la distribución. Además, realizamos investigaciones detalladas sobre la composición óptima de la mezcla de ajuste fino, la poda de datos, así como la toxicidad, el sesgo y la seguridad de nuestros modelos. Hemos liberado nuestros conjuntos de datos de instrucciones y nuestro modelo en https://hf.co/CohereForAI/aya-101.
English
Recent breakthroughs in large language models (LLMs) have centered around a
handful of data-rich languages. What does it take to broaden access to
breakthroughs beyond first-class citizen languages? Our work introduces Aya, a
massively multilingual generative language model that follows instructions in
101 languages of which over 50% are considered as lower-resourced. Aya
outperforms mT0 and BLOOMZ on the majority of tasks while covering double the
number of languages. We introduce extensive new evaluation suites that broaden
the state-of-art for multilingual eval across 99 languages -- including
discriminative and generative tasks, human evaluation, and simulated win rates
that cover both held-out tasks and in-distribution performance. Furthermore, we
conduct detailed investigations on the optimal finetuning mixture composition,
data pruning, as well as the toxicity, bias, and safety of our models. We
open-source our instruction datasets and our model at
https://hf.co/CohereForAI/aya-101