Der Belebele-Benchmark: Ein paralleler Datensatz für Leseverständnis in 122 Sprachvarianten

The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants

August 31, 2023

Autoren: Lucas Bandarkar, Davis Liang, Benjamin Muller, Mikel Artetxe, Satya Narayan Shukla, Donald Husa, Naman Goyal, Abhinandan Krishnan, Luke Zettlemoyer, Madian Khabsa

cs.AI

Zusammenfassung

Wir präsentieren Belebele, einen Multiple-Choice-Datensatz für maschinelles Leseverständnis (MRC), der 122 Sprachvarianten umfasst. Dieser Datensatz erweitert die Sprachabdeckung von Benchmarks für das natürliche Sprachverständnis (NLU) erheblich und ermöglicht die Bewertung von Textmodellen in Hoch-, Mittel- und Niedrigressourcensprachen. Jede Frage basiert auf einem kurzen Textabschnitt aus dem Flores-200-Datensatz und bietet vier Multiple-Choice-Antworten. Die Fragen wurden sorgfältig kuratiert, um zwischen Modellen mit unterschiedlichen Niveaus des allgemeinen Sprachverständnisses zu unterscheiden. Der englische Datensatz allein erweist sich als ausreichend anspruchsvoll, um state-of-the-art Sprachmodelle herauszufordern. Da der Datensatz vollständig parallel ist, ermöglicht er den direkten Vergleich der Modellleistung über alle Sprachen hinweg. Wir verwenden diesen Datensatz, um die Fähigkeiten von mehrsprachigen Masked Language Models (MLMs) und Large Language Models (LLMs) zu evaluieren. Wir präsentieren umfangreiche Ergebnisse und stellen fest, dass trotz erheblichem sprachübergreifendem Transfer in englischzentrierten LLMs, deutlich kleinere MLMs, die auf ausgewogenen mehrsprachigen Daten vortrainiert wurden, immer noch weitaus mehr Sprachen verstehen. Wir beobachten auch, dass eine größere Vokabulargröße und bewusste Vokabularkonstruktion mit einer besseren Leistung bei Niedrigressourcensprachen korrelieren. Insgesamt eröffnet Belebele neue Möglichkeiten zur Bewertung und Analyse der mehrsprachigen Fähigkeiten von NLP-Systemen.

English

We present Belebele, a multiple-choice machine reading comprehension (MRC) dataset spanning 122 language variants. Significantly expanding the language coverage of natural language understanding (NLU) benchmarks, this dataset enables the evaluation of text models in high-, medium-, and low-resource languages. Each question is based on a short passage from the Flores-200 dataset and has four multiple-choice answers. The questions were carefully curated to discriminate between models with different levels of general language comprehension. The English dataset on its own proves difficult enough to challenge state-of-the-art language models. Being fully parallel, this dataset enables direct comparison of model performance across all languages. We use this dataset to evaluate the capabilities of multilingual masked language models (MLMs) and large language models (LLMs). We present extensive results and find that despite significant cross-lingual transfer in English-centric LLMs, much smaller MLMs pretrained on balanced multilingual data still understand far more languages. We also observe that larger vocabulary size and conscious vocabulary construction correlate with better performance on low-resource languages. Overall, Belebele opens up new avenues for evaluating and analyzing the multilingual capabilities of NLP systems.