Het Belebele Benchmark: een parallel dataset voor leesbegrip in 122 taalkundige varianten

Samenvatting

We presenteren Belebele, een multiple-choice dataset voor machine reading comprehension (MRC) die 122 taalsoorten omvat. Door de taaldekking van benchmarks voor natuurlijke taalverwerking (NLU) aanzienlijk uit te breiden, maakt deze dataset het mogelijk om tekstmodellen te evalueren in talen met veel, gemiddeld en weinig bronnen. Elke vraag is gebaseerd op een kort fragment uit de Flores-200 dataset en heeft vier multiple-choice antwoorden. De vragen zijn zorgvuldig samengesteld om onderscheid te maken tussen modellen met verschillende niveaus van algemeen taalbegrip. Alleen al de Engelse dataset blijkt moeilijk genoeg om state-of-the-art taalmodelen uit te dagen. Omdat de dataset volledig parallel is, maakt deze een directe vergelijking van modelprestaties over alle talen mogelijk. We gebruiken deze dataset om de capaciteiten van meertalige masked language models (MLMs) en large language models (LLMs) te evalueren. We presenteren uitgebreide resultaten en constateren dat, ondanks aanzienlijke cross-linguale transfer in Engels-gecentreerde LLMs, veel kleinere MLMs die zijn voorgetraind op gebalanceerde meertalige data nog steeds veel meer talen begrijpen. We observeren ook dat een grotere vocabulaireomvang en bewuste vocabulaireconstructie correleren met betere prestaties op talen met weinig bronnen. Over het geheel genomen opent Belebele nieuwe mogelijkheden voor het evalueren en analyseren van de meertalige capaciteiten van NLP-systemen.

English

We present Belebele, a multiple-choice machine reading comprehension (MRC) dataset spanning 122 language variants. Significantly expanding the language coverage of natural language understanding (NLU) benchmarks, this dataset enables the evaluation of text models in high-, medium-, and low-resource languages. Each question is based on a short passage from the Flores-200 dataset and has four multiple-choice answers. The questions were carefully curated to discriminate between models with different levels of general language comprehension. The English dataset on its own proves difficult enough to challenge state-of-the-art language models. Being fully parallel, this dataset enables direct comparison of model performance across all languages. We use this dataset to evaluate the capabilities of multilingual masked language models (MLMs) and large language models (LLMs). We present extensive results and find that despite significant cross-lingual transfer in English-centric LLMs, much smaller MLMs pretrained on balanced multilingual data still understand far more languages. We also observe that larger vocabulary size and conscious vocabulary construction correlate with better performance on low-resource languages. Overall, Belebele opens up new avenues for evaluating and analyzing the multilingual capabilities of NLP systems.

Het Belebele Benchmark: een parallel dataset voor leesbegrip in 122 taalkundige varianten

The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants

Samenvatting

Support