MADLAD-400 : Un vaste ensemble de données multilingues et documentaire audité

Résumé

Nous présentons MADLAD-400, un ensemble de données monolingue de 3 000 milliards de tokens dans un domaine général, basé sur CommonCrawl et couvrant 419 langues, ayant fait l'objet d'une vérification manuelle. Nous discutons des limites révélées par l'auto-vérification de MADLAD-400, ainsi que du rôle joué par l'audit des données dans le processus de création de l'ensemble de données. Nous entraînons ensuite et publions un modèle de traduction automatique multilingue de 10,7 milliards de paramètres sur 250 milliards de tokens couvrant plus de 450 langues en utilisant des données publiquement disponibles, et constatons qu'il est compétitif par rapport à des modèles nettement plus volumineux. Nous rapportons également les résultats sur différents domaines. Par ailleurs, nous entraînons un modèle de langage de 8 milliards de paramètres et évaluons les résultats en traduction few-shot. Nous mettons à disposition les modèles de référence pour la communauté de recherche.

English

We introduce MADLAD-400, a manually audited, general domain 3T token monolingual dataset based on CommonCrawl, spanning 419 languages. We discuss the limitations revealed by self-auditing MADLAD-400, and the role data auditing had in the dataset creation process. We then train and release a 10.7B-parameter multilingual machine translation model on 250 billion tokens covering over 450 languages using publicly available data, and find that it is competitive with models that are significantly larger, and report the results on different domains. In addition, we train a 8B-parameter language model, and assess the results on few-shot translation. We make the baseline models available to the research community.

MADLAD-400 : Un vaste ensemble de données multilingues et documentaire audité

MADLAD-400: A Multilingual And Document-Level Large Audited Dataset

Résumé

Support