MADLAD-400: Um Conjunto de Dados Multilíngue e em Nível de Documento Grande e Auditado
MADLAD-400: A Multilingual And Document-Level Large Audited Dataset
September 9, 2023
Autores: Sneha Kudugunta, Isaac Caswell, Biao Zhang, Xavier Garcia, Christopher A. Choquette-Choo, Katherine Lee, Derrick Xin, Aditya Kusupati, Romi Stella, Ankur Bapna, Orhan Firat
cs.AI
Resumo
Apresentamos o MADLAD-400, um conjunto de dados monolíngue de domínio geral com 3 trilhões de tokens, auditado manualmente e baseado no CommonCrawl, abrangendo 419 idiomas. Discutimos as limitações reveladas pela autoauditoria do MADLAD-400 e o papel que a auditoria de dados teve no processo de criação do conjunto de dados. Em seguida, treinamos e disponibilizamos um modelo de tradução automática multilíngue com 10,7 bilhões de parâmetros, utilizando 250 bilhões de tokens que cobrem mais de 450 idiomas com dados publicamente disponíveis, e constatamos que ele é competitivo com modelos significativamente maiores, relatando os resultados em diferentes domínios. Além disso, treinamos um modelo de linguagem com 8 bilhões de parâmetros e avaliamos os resultados na tradução com poucos exemplos. Disponibilizamos os modelos de referência para a comunidade de pesquisa.
English
We introduce MADLAD-400, a manually audited, general domain 3T token
monolingual dataset based on CommonCrawl, spanning 419 languages. We discuss
the limitations revealed by self-auditing MADLAD-400, and the role data
auditing had in the dataset creation process. We then train and release a
10.7B-parameter multilingual machine translation model on 250 billion tokens
covering over 450 languages using publicly available data, and find that it is
competitive with models that are significantly larger, and report the results
on different domains. In addition, we train a 8B-parameter language model, and
assess the results on few-shot translation. We make the baseline models
available to the research community.