MADLAD-400: Een meertalige en document-brede grote gecontroleerde dataset

MADLAD-400: A Multilingual And Document-Level Large Audited Dataset

September 9, 2023

Auteurs: Sneha Kudugunta, Isaac Caswell, Biao Zhang, Xavier Garcia, Christopher A. Choquette-Choo, Katherine Lee, Derrick Xin, Aditya Kusupati, Romi Stella, Ankur Bapna, Orhan Firat

cs.AI

Samenvatting

We introduceren MADLAD-400, een handmatig gecontroleerde, algemene dataset van 3T tokens in één taal, gebaseerd op CommonCrawl en bestrijkt 419 talen. We bespreken de beperkingen die aan het licht zijn gekomen door zelfaudit van MADLAD-400, en de rol die data-audit speelde in het proces van datasetcreatie. Vervolgens trainen en publiceren we een meertalig vertaalmodel met 10,7 miljard parameters op 250 miljard tokens, dat meer dan 450 talen omvat met behulp van publiek beschikbare data, en we constateren dat het concurrerend is met aanzienlijk grotere modellen. We rapporteren de resultaten in verschillende domeinen. Daarnaast trainen we een taalmodel met 8 miljard parameters en evalueren de resultaten op few-shot vertaling. We stellen de basismodellen beschikbaar aan de onderzoeksgemeenschap.

English

We introduce MADLAD-400, a manually audited, general domain 3T token monolingual dataset based on CommonCrawl, spanning 419 languages. We discuss the limitations revealed by self-auditing MADLAD-400, and the role data auditing had in the dataset creation process. We then train and release a 10.7B-parameter multilingual machine translation model on 250 billion tokens covering over 450 languages using publicly available data, and find that it is competitive with models that are significantly larger, and report the results on different domains. In addition, we train a 8B-parameter language model, and assess the results on few-shot translation. We make the baseline models available to the research community.