MADLAD-400: Un Dataset Multilingue e a Livello di Documento di Grandi Dimensioni e Verificato
MADLAD-400: A Multilingual And Document-Level Large Audited Dataset
September 9, 2023
Autori: Sneha Kudugunta, Isaac Caswell, Biao Zhang, Xavier Garcia, Christopher A. Choquette-Choo, Katherine Lee, Derrick Xin, Aditya Kusupati, Romi Stella, Ankur Bapna, Orhan Firat
cs.AI
Abstract
Presentiamo MADLAD-400, un dataset monolingue di dominio generale da 3T token, sottoposto a revisione manuale e basato su CommonCrawl, che copre 419 lingue. Discutiamo le limitazioni emerse durante l'auto-revisione di MADLAD-400 e il ruolo che la revisione dei dati ha avuto nel processo di creazione del dataset. Successivamente, addestriamo e rilasciamo un modello di traduzione automatica multilingue da 10,7 miliardi di parametri su 250 miliardi di token che coprono oltre 450 lingue utilizzando dati pubblicamente disponibili, riscontrando che è competitivo con modelli significativamente più grandi, e riportiamo i risultati su diversi domini. Inoltre, addestriamo un modello linguistico da 8 miliardi di parametri e valutiamo i risultati sulla traduzione few-shot. Rendiamo disponibili i modelli di base alla comunità di ricerca.
English
We introduce MADLAD-400, a manually audited, general domain 3T token
monolingual dataset based on CommonCrawl, spanning 419 languages. We discuss
the limitations revealed by self-auditing MADLAD-400, and the role data
auditing had in the dataset creation process. We then train and release a
10.7B-parameter multilingual machine translation model on 250 billion tokens
covering over 450 languages using publicly available data, and find that it is
competitive with models that are significantly larger, and report the results
on different domains. In addition, we train a 8B-parameter language model, and
assess the results on few-shot translation. We make the baseline models
available to the research community.