Modèle Aya : Un modèle de langage multilingue en accès libre affiné par instructionAya Model: An Instruction Finetuned Open-Access Multilingual Language
Model
Les récentes avancées dans les modèles de langage de grande taille (LLM) se sont concentrées sur un petit nombre de langues riches en données. Que faut-il pour élargir l'accès à ces avancées au-delà des langues dites de première catégorie ? Notre travail présente Aya, un modèle de langage génératif massivement multilingue capable de suivre des instructions dans 101 langues, dont plus de 50 % sont considérées comme étant à ressources limitées. Aya surpasse mT0 et BLOOMZ sur la majorité des tâches tout en couvrant deux fois plus de langues. Nous introduisons de nouvelles suites d'évaluation approfondies qui élargissent l'état de l'art en matière d'évaluation multilingue à travers 99 langues — incluant des tâches discriminatives et génératives, des évaluations humaines, ainsi que des taux de victoire simulés couvrant à la fois les tâches hors distribution et les performances en distribution. De plus, nous menons des investigations détaillées sur la composition optimale des mélanges de fine-tuning, l'élagage des données, ainsi que sur la toxicité, les biais et la sécurité de nos modèles. Nous mettons à disposition en open source nos ensembles de données d'instructions et notre modèle à l'adresse suivante : https://hf.co/CohereForAI/aya-101.