Aya Dataset : Une Collection en Libre Accès pour le Réglage d'Instructions Multilingues

Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning

February 9, 2024

Auteurs: Shivalika Singh, Freddie Vargus, Daniel Dsouza, Börje F. Karlsson, Abinaya Mahendiran, Wei-Yin Ko, Herumb Shandilya, Jay Patel, Deividas Mataciunas, Laura OMahony, Mike Zhang, Ramith Hettiarachchi, Joseph Wilson, Marina Machado, Luisa Souza Moura, Dominik Krzemiński, Hakimeh Fadaei, Irem Ergün, Ifeoma Okoh, Aisha Alaagib, Oshan Mudannayake, Zaid Alyafeai, Vu Minh Chien, Sebastian Ruder, Surya Guthikonda, Emad A. Alghamdi, Sebastian Gehrmann, Niklas Muennighoff, Max Bartolo, Julia Kreutzer, Ahmet Üstün, Marzieh Fadaee, Sara Hooker

cs.AI

Résumé

Les ensembles de données constituent la base de nombreuses avancées dans l'intelligence artificielle moderne. De nombreuses réalisations récentes dans le domaine du traitement du langage naturel (NLP) peuvent être attribuées au réglage fin de modèles pré-entraînés sur un ensemble diversifié de tâches, permettant à un grand modèle de langage (LLM) de répondre à des instructions. Le réglage fin par instruction (Instruction Fine-Tuning, IFT) nécessite des ensembles de données spécifiquement construits et annotés. Cependant, les ensembles de données existants sont presque exclusivement en anglais. Dans ce travail, notre objectif principal est de combler le fossé linguistique en construisant un ensemble de données de suivi d'instructions, soigneusement élaboré par des humains, couvrant 65 langues. Nous avons collaboré avec des locuteurs natifs de langues du monde entier pour collecter des exemples naturels d'instructions et de réponses. De plus, nous créons la collection multilingue la plus étendue à ce jour, comprenant 513 millions d'exemples, grâce à la modélisation et à la traduction d'ensembles de données existants dans 114 langues. Au total, nous contribuons quatre ressources clés : nous développons et ouvrons au public la Plateforme d'Annotation Aya, l'Ensemble de Données Aya, la Collection Aya et la Suite d'Évaluation Aya. L'initiative Aya sert également d'étude de cas précieuse en recherche participative, impliquant des collaborateurs de 119 pays. Nous considérons cela comme un cadre précieux pour les futures collaborations de recherche visant à combler les lacunes en ressources.

English

Datasets are foundational to many breakthroughs in modern artificial intelligence. Many recent achievements in the space of natural language processing (NLP) can be attributed to the finetuning of pre-trained models on a diverse set of tasks that enables a large language model (LLM) to respond to instructions. Instruction fine-tuning (IFT) requires specifically constructed and annotated datasets. However, existing datasets are almost all in the English language. In this work, our primary goal is to bridge the language gap by building a human-curated instruction-following dataset spanning 65 languages. We worked with fluent speakers of languages from around the world to collect natural instances of instructions and completions. Furthermore, we create the most extensive multilingual collection to date, comprising 513 million instances through templating and translating existing datasets across 114 languages. In total, we contribute four key resources: we develop and open-source the Aya Annotation Platform, the Aya Dataset, the Aya Collection, and the Aya Evaluation Suite. The Aya initiative also serves as a valuable case study in participatory research, involving collaborators from 119 countries. We see this as a valuable framework for future research collaborations that aim to bridge gaps in resources.