Globale MMLU: Verständnis und Behebung kultureller und sprachlicher Vorurteile bei multilingualen Evaluationen

Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation

December 4, 2024

Autoren: Shivalika Singh, Angelika Romanou, Clémentine Fourrier, David I. Adelani, Jian Gang Ngui, Daniel Vila-Suero, Peerat Limkonchotiwat, Kelly Marchisio, Wei Qi Leong, Yosephine Susanto, Raymond Ng, Shayne Longpre, Wei-Yin Ko, Madeline Smith, Antoine Bosselut, Alice Oh, Andre F. T. Martins, Leshem Choshen, Daphne Ippolito, Enzo Ferrante, Marzieh Fadaee, Beyza Ermis, Sara Hooker

cs.AI

Zusammenfassung

Kulturelle Vorurteile in mehrsprachigen Datensätzen stellen erhebliche Herausforderungen für ihre Effektivität als globale Benchmarks dar. Diese Vorurteile entstehen nicht nur aus der Sprache, sondern auch aus dem kulturellen Wissen, das zur Interpretation von Fragen erforderlich ist, was die praktische Nützlichkeit von übersetzten Datensätzen wie MMLU verringert. Darüber hinaus führt die Übersetzung oft zu Artefakten, die die Bedeutung oder Klarheit von Fragen in der Zielsprache verfälschen können. Eine gängige Praxis bei der mehrsprachigen Evaluation besteht darin, sich auf maschinell übersetzte Evaluationssätze zu verlassen, aber allein die Übersetzung eines Datensatzes reicht nicht aus, um diesen Herausforderungen zu begegnen. In dieser Arbeit verfolgen wir die Auswirkungen dieser Probleme auf mehrsprachige Evaluationen und die daraus resultierenden Modellleistungen. Unsere groß angelegte Evaluation von modernsten offenen und proprietären Modellen zeigt, dass der Fortschritt bei MMLU stark von der Aneignung westlich-zentrierter Konzepte abhängt, wobei 28 % aller Fragen kulturell sensibles Wissen erfordern. Darüber hinaus konzentrieren sich bei Fragen, die geografisches Wissen erfordern, erstaunliche 84,9 % entweder auf nordamerikanische oder europäische Regionen. Die Rangfolge der Modellbewertungen ändert sich je nachdem, ob sie auf dem gesamten Teil oder dem Teil der Fragen bewertet werden, die als kulturell sensibel gekennzeichnet sind, was die Verzerrung der Modellrangfolgen zeigt, wenn man blind auf übersetzte MMLU vertraut. Wir veröffentlichen Global-MMLU, eine verbesserte MMLU mit Bewertungsabdeckung in 42 Sprachen - mit insgesamt verbesserter Qualität durch die Einbindung von professionellen und Community-Annotatoren zur Überprüfung der Übersetzungsqualität und zur rigorosen Bewertung der kulturellen Vorurteile im Originaldatensatz. Dieser umfassende Global-MMLU-Datensatz enthält auch speziell gekennzeichnete Teilmengen, die als kulturell sensibel und kulturell agnostisch gekennzeichnet sind, um eine ganzheitlichere, vollständige Bewertung zu ermöglichen.

English

Cultural biases in multilingual datasets pose significant challenges for their effectiveness as global benchmarks. These biases stem not only from language but also from the cultural knowledge required to interpret questions, reducing the practical utility of translated datasets like MMLU. Furthermore, translation often introduces artifacts that can distort the meaning or clarity of questions in the target language. A common practice in multilingual evaluation is to rely on machine-translated evaluation sets, but simply translating a dataset is insufficient to address these challenges. In this work, we trace the impact of both of these issues on multilingual evaluations and ensuing model performances. Our large-scale evaluation of state-of-the-art open and proprietary models illustrates that progress on MMLU depends heavily on learning Western-centric concepts, with 28% of all questions requiring culturally sensitive knowledge. Moreover, for questions requiring geographic knowledge, an astounding 84.9% focus on either North American or European regions. Rankings of model evaluations change depending on whether they are evaluated on the full portion or the subset of questions annotated as culturally sensitive, showing the distortion to model rankings when blindly relying on translated MMLU. We release Global-MMLU, an improved MMLU with evaluation coverage across 42 languages -- with improved overall quality by engaging with compensated professional and community annotators to verify translation quality while also rigorously evaluating cultural biases present in the original dataset. This comprehensive Global-MMLU set also includes designated subsets labeled as culturally sensitive and culturally agnostic to allow for more holistic, complete evaluation.