Wereldwijde MMLU: Begrip en Aanpak van Culturele en Taalkundige Vooroordelen bij Meertalige Evaluatie

Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation

December 4, 2024

Auteurs: Shivalika Singh, Angelika Romanou, Clémentine Fourrier, David I. Adelani, Jian Gang Ngui, Daniel Vila-Suero, Peerat Limkonchotiwat, Kelly Marchisio, Wei Qi Leong, Yosephine Susanto, Raymond Ng, Shayne Longpre, Wei-Yin Ko, Madeline Smith, Antoine Bosselut, Alice Oh, Andre F. T. Martins, Leshem Choshen, Daphne Ippolito, Enzo Ferrante, Marzieh Fadaee, Beyza Ermis, Sara Hooker

cs.AI

Samenvatting

Culturele vooroordelen in meertalige datasets vormen aanzienlijke uitdagingen voor hun effectiviteit als wereldwijde benchmarks. Deze vooroordelen komen niet alleen voort uit taal, maar ook uit de culturele kennis die nodig is om vragen te interpreteren, wat de praktische bruikbaarheid van vertaalde datasets zoals MMLU vermindert. Bovendien introduceert vertaling vaak artefacten die de betekenis of duidelijkheid van vragen in de doeltaal kunnen vertekenen. Een veelvoorkomende praktijk bij meertalige evaluaties is om te vertrouwen op machinaal vertaalde evaluatiesets, maar enkel het vertalen van een dataset is onvoldoende om deze uitdagingen aan te pakken. In dit werk onderzoeken we de impact van beide problemen op meertalige evaluaties en de daaropvolgende modelprestaties. Onze grootschalige evaluatie van toonaangevende open en gepatenteerde modellen illustreert dat vooruitgang op MMLU sterk afhankelijk is van het leren van op het Westen gerichte concepten, waarbij 28% van alle vragen cultureel gevoelige kennis vereisen. Bovendien, voor vragen die geografische kennis vereisen, richt maar liefst 84,9% zich op Noord-Amerikaanse of Europese regio's. De ranglijsten van modelevaluaties veranderen afhankelijk van of ze worden geëvalueerd op het volledige deel of de subset van vragen die zijn geannoteerd als cultureel gevoelig, wat de vertekening van modelranglijsten aantoont wanneer er blindelings wordt vertrouwd op vertaalde MMLU. We introduceren Global-MMLU, een verbeterde MMLU met evaluatiedekking in 42 talen - met een verbeterde algehele kwaliteit door samen te werken met gecompenseerde professionele en gemeenschapsannotatoren om de kwaliteit van vertalingen te verifiëren, terwijl we ook culturele vooroordelen in de oorspronkelijke dataset rigoureus evalueren. Deze uitgebreide Global-MMLU-set bevat ook aangewezen subsets die zijn gelabeld als cultureel gevoelig en cultureel agnostisch om een meer holistische, volledige evaluatie mogelijk te maken.

English

Cultural biases in multilingual datasets pose significant challenges for their effectiveness as global benchmarks. These biases stem not only from language but also from the cultural knowledge required to interpret questions, reducing the practical utility of translated datasets like MMLU. Furthermore, translation often introduces artifacts that can distort the meaning or clarity of questions in the target language. A common practice in multilingual evaluation is to rely on machine-translated evaluation sets, but simply translating a dataset is insufficient to address these challenges. In this work, we trace the impact of both of these issues on multilingual evaluations and ensuing model performances. Our large-scale evaluation of state-of-the-art open and proprietary models illustrates that progress on MMLU depends heavily on learning Western-centric concepts, with 28% of all questions requiring culturally sensitive knowledge. Moreover, for questions requiring geographic knowledge, an astounding 84.9% focus on either North American or European regions. Rankings of model evaluations change depending on whether they are evaluated on the full portion or the subset of questions annotated as culturally sensitive, showing the distortion to model rankings when blindly relying on translated MMLU. We release Global-MMLU, an improved MMLU with evaluation coverage across 42 languages -- with improved overall quality by engaging with compensated professional and community annotators to verify translation quality while also rigorously evaluating cultural biases present in the original dataset. This comprehensive Global-MMLU set also includes designated subsets labeled as culturally sensitive and culturally agnostic to allow for more holistic, complete evaluation.