MADLAD-400: Ein multilingualer und dokumentenbasierter großer geprüfter Datensatz
MADLAD-400: A Multilingual And Document-Level Large Audited Dataset
September 9, 2023
Autoren: Sneha Kudugunta, Isaac Caswell, Biao Zhang, Xavier Garcia, Christopher A. Choquette-Choo, Katherine Lee, Derrick Xin, Aditya Kusupati, Romi Stella, Ankur Bapna, Orhan Firat
cs.AI
Zusammenfassung
Wir stellen MADLAD-400 vor, ein manuell geprüftes, allgemeines monolinguales Datenset mit 3T Tokens, das auf CommonCrawl basiert und 419 Sprachen umfasst. Wir diskutieren die durch Selbstprüfung von MADLAD-400 aufgedeckten Einschränkungen sowie die Rolle der Datenprüfung im Prozess der Datenset-Erstellung. Anschließend trainieren und veröffentlichen wir ein multilinguales maschinelles Übersetzungsmodell mit 10,7 Milliarden Parametern auf 250 Milliarden Tokens, das über 450 Sprachen abdeckt und öffentlich verfügbare Daten nutzt. Wir stellen fest, dass es mit deutlich größeren Modellen konkurrieren kann und berichten die Ergebnisse in verschiedenen Domänen. Zusätzlich trainieren wir ein Sprachmodell mit 8 Milliarden Parametern und bewerten die Ergebnisse im Few-Shot-Übersetzen. Wir stellen die Basismodelle der Forschungsgemeinschaft zur Verfügung.
English
We introduce MADLAD-400, a manually audited, general domain 3T token
monolingual dataset based on CommonCrawl, spanning 419 languages. We discuss
the limitations revealed by self-auditing MADLAD-400, and the role data
auditing had in the dataset creation process. We then train and release a
10.7B-parameter multilingual machine translation model on 250 billion tokens
covering over 450 languages using publicly available data, and find that it is
competitive with models that are significantly larger, and report the results
on different domains. In addition, we train a 8B-parameter language model, and
assess the results on few-shot translation. We make the baseline models
available to the research community.