Глобальный MMLU: Понимание и устранение культурных и языковых предвзятостей в многоязычной оценке
Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation
December 4, 2024
Авторы: Shivalika Singh, Angelika Romanou, Clémentine Fourrier, David I. Adelani, Jian Gang Ngui, Daniel Vila-Suero, Peerat Limkonchotiwat, Kelly Marchisio, Wei Qi Leong, Yosephine Susanto, Raymond Ng, Shayne Longpre, Wei-Yin Ko, Madeline Smith, Antoine Bosselut, Alice Oh, Andre F. T. Martins, Leshem Choshen, Daphne Ippolito, Enzo Ferrante, Marzieh Fadaee, Beyza Ermis, Sara Hooker
cs.AI
Аннотация
Культурные предвзятости в многоязычных наборах данных представляют существенные вызовы для их эффективности в качестве глобальных бенчмарков. Эти предвзятости происходят не только из языка, но и из культурных знаний, необходимых для интерпретации вопросов, что снижает практическую полезность переведенных наборов данных, таких как MMLU. Более того, перевод часто вносит артефакты, которые могут исказить значение или ясность вопросов на целевом языке. Распространенной практикой в многоязычной оценке является использование машинных переведенных наборов данных для оценки, но простое переведение набора данных недостаточно для решения этих проблем. В данной работе мы отслеживаем влияние обеих этих проблем на многоязычные оценки и последующие результаты моделей. Наша масштабная оценка современных открытых и закрытых моделей показывает, что прогресс в MMLU в значительной степени зависит от изучения западно-центричных концепций, причем 28% всех вопросов требуют культурно чувствительных знаний. Более того, для вопросов, требующих географических знаний, удивительные 84,9% сосредоточены либо на североамериканском, либо на европейском регионах. Рейтинги оценок моделей меняются в зависимости от того, оцениваются ли они на полной части или на подмножестве вопросов, помеченных как культурно чувствительные, что показывает искажение рейтингов моделей при слепом полагании на переведенный MMLU. Мы выпускаем Global-MMLU, улучшенный MMLU с охватом оценки на 42 языках -- с улучшенным общим качеством путем взаимодействия с компенсированными профессиональными и сообщественными аннотаторами для проверки качества перевода, а также тщательной оценки культурных предвзятостей, присутствующих в исходном наборе данных. Этот всесторонний набор Global-MMLU также включает обозначенные подмножества, помеченные как культурно чувствительные и культурно агностические, чтобы обеспечить более глубокую, полную оценку.
English
Cultural biases in multilingual datasets pose significant challenges for
their effectiveness as global benchmarks. These biases stem not only from
language but also from the cultural knowledge required to interpret questions,
reducing the practical utility of translated datasets like MMLU. Furthermore,
translation often introduces artifacts that can distort the meaning or clarity
of questions in the target language. A common practice in multilingual
evaluation is to rely on machine-translated evaluation sets, but simply
translating a dataset is insufficient to address these challenges. In this
work, we trace the impact of both of these issues on multilingual evaluations
and ensuing model performances. Our large-scale evaluation of state-of-the-art
open and proprietary models illustrates that progress on MMLU depends heavily
on learning Western-centric concepts, with 28% of all questions requiring
culturally sensitive knowledge. Moreover, for questions requiring geographic
knowledge, an astounding 84.9% focus on either North American or European
regions. Rankings of model evaluations change depending on whether they are
evaluated on the full portion or the subset of questions annotated as
culturally sensitive, showing the distortion to model rankings when blindly
relying on translated MMLU. We release Global-MMLU, an improved MMLU with
evaluation coverage across 42 languages -- with improved overall quality by
engaging with compensated professional and community annotators to verify
translation quality while also rigorously evaluating cultural biases present in
the original dataset. This comprehensive Global-MMLU set also includes
designated subsets labeled as culturally sensitive and culturally agnostic to
allow for more holistic, complete evaluation.