MADLAD-400: Многоязычный и документно-ориентированный крупный проверенный набор данных
MADLAD-400: A Multilingual And Document-Level Large Audited Dataset
September 9, 2023
Авторы: Sneha Kudugunta, Isaac Caswell, Biao Zhang, Xavier Garcia, Christopher A. Choquette-Choo, Katherine Lee, Derrick Xin, Aditya Kusupati, Romi Stella, Ankur Bapna, Orhan Firat
cs.AI
Аннотация
Мы представляем MADLAD-400 — вручную проверенный, общедоступный одноязычный набор данных объемом 3 триллиона токенов, созданный на основе CommonCrawl и охватывающий 419 языков. Мы обсуждаем ограничения, выявленные в ходе самопроверки MADLAD-400, и роль аудита данных в процессе создания набора. Затем мы обучаем и публикуем модель машинного перевода с 10,7 миллиардами параметров, охватывающую более 450 языков на основе 250 миллиардов токенов, используя общедоступные данные, и обнаруживаем, что она конкурентоспособна с моделями значительно большего размера, а также представляем результаты для различных доменов. Кроме того, мы обучаем языковую модель с 8 миллиардами параметров и оцениваем её результаты в задачах перевода с малым количеством примеров. Мы предоставляем базовые модели для использования научным сообществом.
English
We introduce MADLAD-400, a manually audited, general domain 3T token
monolingual dataset based on CommonCrawl, spanning 419 languages. We discuss
the limitations revealed by self-auditing MADLAD-400, and the role data
auditing had in the dataset creation process. We then train and release a
10.7B-parameter multilingual machine translation model on 250 billion tokens
covering over 450 languages using publicly available data, and find that it is
competitive with models that are significantly larger, and report the results
on different domains. In addition, we train a 8B-parameter language model, and
assess the results on few-shot translation. We make the baseline models
available to the research community.