MADLAD-400: Un conjunto de datos multilingüe y a nivel de documento de gran escala y auditado
MADLAD-400: A Multilingual And Document-Level Large Audited Dataset
September 9, 2023
Autores: Sneha Kudugunta, Isaac Caswell, Biao Zhang, Xavier Garcia, Christopher A. Choquette-Choo, Katherine Lee, Derrick Xin, Aditya Kusupati, Romi Stella, Ankur Bapna, Orhan Firat
cs.AI
Resumen
Presentamos MADLAD-400, un conjunto de datos monolingüe de dominio general de 3T tokens, auditado manualmente y basado en CommonCrawl, que abarca 419 idiomas. Discutimos las limitaciones reveladas por la autoevaluación de MADLAD-400 y el papel que tuvo la auditoría de datos en el proceso de creación del conjunto de datos. Luego, entrenamos y publicamos un modelo de traducción automática multilingüe de 10.7 mil millones de parámetros en 250 mil millones de tokens que cubre más de 450 idiomas utilizando datos disponibles públicamente, y encontramos que es competitivo con modelos significativamente más grandes, y reportamos los resultados en diferentes dominios. Además, entrenamos un modelo de lenguaje de 8 mil millones de parámetros y evaluamos los resultados en traducción con pocos ejemplos. Ponemos los modelos de referencia a disposición de la comunidad investigadora.
English
We introduce MADLAD-400, a manually audited, general domain 3T token
monolingual dataset based on CommonCrawl, spanning 419 languages. We discuss
the limitations revealed by self-auditing MADLAD-400, and the role data
auditing had in the dataset creation process. We then train and release a
10.7B-parameter multilingual machine translation model on 250 billion tokens
covering over 450 languages using publicly available data, and find that it is
competitive with models that are significantly larger, and report the results
on different domains. In addition, we train a 8B-parameter language model, and
assess the results on few-shot translation. We make the baseline models
available to the research community.