Aya-Datensatz: Eine offen zugängliche Sammlung für mehrsprachiges Instruction Tuning

Aya Dataset: An Open-Access Collection for Multilingual Instruction Tuning

February 9, 2024

Autoren: Shivalika Singh, Freddie Vargus, Daniel Dsouza, Börje F. Karlsson, Abinaya Mahendiran, Wei-Yin Ko, Herumb Shandilya, Jay Patel, Deividas Mataciunas, Laura OMahony, Mike Zhang, Ramith Hettiarachchi, Joseph Wilson, Marina Machado, Luisa Souza Moura, Dominik Krzemiński, Hakimeh Fadaei, Irem Ergün, Ifeoma Okoh, Aisha Alaagib, Oshan Mudannayake, Zaid Alyafeai, Vu Minh Chien, Sebastian Ruder, Surya Guthikonda, Emad A. Alghamdi, Sebastian Gehrmann, Niklas Muennighoff, Max Bartolo, Julia Kreutzer, Ahmet Üstün, Marzieh Fadaee, Sara Hooker

cs.AI

Zusammenfassung

Datasets sind grundlegend für viele Durchbrüche in der modernen künstlichen Intelligenz. Viele der jüngsten Erfolge im Bereich der natürlichen Sprachverarbeitung (NLP) lassen sich auf das Feinabstimmen vortrainierter Modelle auf eine Vielzahl von Aufgaben zurückführen, wodurch ein großes Sprachmodell (LLM) in der Lage ist, auf Anweisungen zu reagieren. Die Feinabstimmung auf Anweisungen (Instruction Fine-Tuning, IFT) erfordert speziell konstruierte und annotierte Datensätze. Allerdings sind bestehende Datensätze fast ausschließlich in englischer Sprache verfasst. In dieser Arbeit besteht unser primäres Ziel darin, die Sprachlücke zu schließen, indem wir einen von Menschen kuratierten Datensatz zur Befolgung von Anweisungen erstellen, der 65 Sprachen umfasst. Wir haben mit fließenden Sprechern von Sprachen aus der ganzen Welt zusammengearbeitet, um natürliche Beispiele von Anweisungen und deren Ausführungen zu sammeln. Darüber hinaus erstellen wir die bisher umfangreichste mehrsprachige Sammlung, die durch das Templating und Übersetzen bestehender Datensätze über 114 Sprachen hinweg 513 Millionen Instanzen umfasst. Insgesamt tragen wir vier Schlüsselressourcen bei: Wir entwickeln und veröffentlichen die Aya Annotation Platform, den Aya Dataset, die Aya Collection und das Aya Evaluation Suite. Die Aya-Initiative dient auch als wertvolle Fallstudie in der partizipativen Forschung, an der Mitarbeiter aus 119 Ländern beteiligt sind. Wir sehen dies als ein wertvolles Rahmenwerk für zukünftige Forschungskooperationen, die darauf abzielen, Lücken in Ressourcen zu schließen.

English

Datasets are foundational to many breakthroughs in modern artificial intelligence. Many recent achievements in the space of natural language processing (NLP) can be attributed to the finetuning of pre-trained models on a diverse set of tasks that enables a large language model (LLM) to respond to instructions. Instruction fine-tuning (IFT) requires specifically constructed and annotated datasets. However, existing datasets are almost all in the English language. In this work, our primary goal is to bridge the language gap by building a human-curated instruction-following dataset spanning 65 languages. We worked with fluent speakers of languages from around the world to collect natural instances of instructions and completions. Furthermore, we create the most extensive multilingual collection to date, comprising 513 million instances through templating and translating existing datasets across 114 languages. In total, we contribute four key resources: we develop and open-source the Aya Annotation Platform, the Aya Dataset, the Aya Collection, and the Aya Evaluation Suite. The Aya initiative also serves as a valuable case study in participatory research, involving collaborators from 119 countries. We see this as a valuable framework for future research collaborations that aim to bridge gaps in resources.