Aya Dataset: Una Collezione ad Accesso Aperto per il Fine-Tuning Multilingue di Istruzioni

Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning

February 9, 2024

Autori: Shivalika Singh, Freddie Vargus, Daniel Dsouza, Börje F. Karlsson, Abinaya Mahendiran, Wei-Yin Ko, Herumb Shandilya, Jay Patel, Deividas Mataciunas, Laura OMahony, Mike Zhang, Ramith Hettiarachchi, Joseph Wilson, Marina Machado, Luisa Souza Moura, Dominik Krzemiński, Hakimeh Fadaei, Irem Ergün, Ifeoma Okoh, Aisha Alaagib, Oshan Mudannayake, Zaid Alyafeai, Vu Minh Chien, Sebastian Ruder, Surya Guthikonda, Emad A. Alghamdi, Sebastian Gehrmann, Niklas Muennighoff, Max Bartolo, Julia Kreutzer, Ahmet Üstün, Marzieh Fadaee, Sara Hooker

cs.AI

Abstract

I dataset sono fondamentali per molte delle scoperte nell'intelligenza artificiale moderna. Molti dei recenti successi nel campo dell'elaborazione del linguaggio naturale (NLP) possono essere attribuiti alla messa a punto di modelli pre-addestrati su un insieme diversificato di attività, che consente a un modello linguistico di grandi dimensioni (LLM) di rispondere alle istruzioni. La messa a punto basata su istruzioni (Instruction Fine-Tuning, IFT) richiede dataset appositamente costruiti e annotati. Tuttavia, i dataset esistenti sono quasi tutti in lingua inglese. In questo lavoro, il nostro obiettivo principale è colmare il divario linguistico costruendo un dataset curato manualmente per il seguimento di istruzioni, che copre 65 lingue. Abbiamo collaborato con parlanti fluenti di lingue provenienti da tutto il mondo per raccogliere esempi naturali di istruzioni e completamenti. Inoltre, abbiamo creato la raccolta multilingue più estesa fino ad oggi, comprendente 513 milioni di istanze attraverso la modellazione e la traduzione di dataset esistenti in 114 lingue. In totale, contribuiamo con quattro risorse chiave: sviluppiamo e rendiamo open-source la Piattaforma di Annotazione Aya, il Dataset Aya, la Collezione Aya e la Suite di Valutazione Aya. L'iniziativa Aya rappresenta anche un prezioso caso di studio nella ricerca partecipativa, coinvolgendo collaboratori da 119 paesi. Vediamo questo come un quadro di riferimento valido per future collaborazioni di ricerca che mirano a colmare le lacune nelle risorse.

English

Datasets are foundational to many breakthroughs in modern artificial intelligence. Many recent achievements in the space of natural language processing (NLP) can be attributed to the finetuning of pre-trained models on a diverse set of tasks that enables a large language model (LLM) to respond to instructions. Instruction fine-tuning (IFT) requires specifically constructed and annotated datasets. However, existing datasets are almost all in the English language. In this work, our primary goal is to bridge the language gap by building a human-curated instruction-following dataset spanning 65 languages. We worked with fluent speakers of languages from around the world to collect natural instances of instructions and completions. Furthermore, we create the most extensive multilingual collection to date, comprising 513 million instances through templating and translating existing datasets across 114 languages. In total, we contribute four key resources: we develop and open-source the Aya Annotation Platform, the Aya Dataset, the Aya Collection, and the Aya Evaluation Suite. The Aya initiative also serves as a valuable case study in participatory research, involving collaborators from 119 countries. We see this as a valuable framework for future research collaborations that aim to bridge gaps in resources.