Aya Model: Многоязычная языковая модель с открытым доступом, дообученная на инструкциях
Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
February 12, 2024
Авторы: Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shayne Longpre, Niklas Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker
cs.AI
Аннотация
Недавние прорывы в области больших языковых моделей (LLMs) сосредоточены на нескольких языках с богатыми данными. Что требуется для расширения доступа к этим достижениям за пределы языков "первого класса"? Наша работа представляет Aya — массово многоязычную генеративную языковую модель, которая выполняет инструкции на 101 языке, более 50% из которых считаются малоресурсными. Aya превосходит модели mT0 и BLOOMZ в большинстве задач, охватывая вдвое больше языков. Мы представляем обширные новые наборы для оценки, которые расширяют современные стандарты многоязычного тестирования на 99 языков, включая дискриминативные и генеративные задачи, человеческую оценку и моделируемые показатели успеха, охватывающие как задачи с исключенными данными, так и производительность в рамках распределения. Кроме того, мы проводим детальные исследования оптимального состава смеси для тонкой настройки, обрезки данных, а также токсичности, предвзятости и безопасности наших моделей. Мы открываем исходные коды наших наборов инструкций и модели по адресу https://hf.co/CohereForAI/aya-101.
English
Recent breakthroughs in large language models (LLMs) have centered around a
handful of data-rich languages. What does it take to broaden access to
breakthroughs beyond first-class citizen languages? Our work introduces Aya, a
massively multilingual generative language model that follows instructions in
101 languages of which over 50% are considered as lower-resourced. Aya
outperforms mT0 and BLOOMZ on the majority of tasks while covering double the
number of languages. We introduce extensive new evaluation suites that broaden
the state-of-art for multilingual eval across 99 languages -- including
discriminative and generative tasks, human evaluation, and simulated win rates
that cover both held-out tasks and in-distribution performance. Furthermore, we
conduct detailed investigations on the optimal finetuning mixture composition,
data pruning, as well as the toxicity, bias, and safety of our models. We
open-source our instruction datasets and our model at
https://hf.co/CohereForAI/aya-101