MMLU Global: Compreensão e Abordagem de Viés Culturais e Linguísticos na Avaliação Multilíngue

Resumo

Vieses culturais em conjuntos de dados multilíngues representam desafios significativos para sua eficácia como referências globais. Esses vieses derivam não apenas da língua, mas também do conhecimento cultural necessário para interpretar questões, reduzindo a utilidade prática de conjuntos de dados traduzidos como MMLU. Além disso, a tradução frequentemente introduz artefatos que podem distorcer o significado ou a clareza das questões no idioma-alvo. Uma prática comum na avaliação multilíngue é depender de conjuntos de avaliação traduzidos por máquina, mas simplesmente traduzir um conjunto de dados é insuficiente para lidar com esses desafios. Neste trabalho, rastreamos o impacto dessas questões nas avaliações multilíngues e no desempenho subsequente dos modelos. Nossa avaliação em larga escala de modelos abertos e proprietários de ponta ilustra que o progresso no MMLU depende fortemente da aprendizagem de conceitos centrados no Ocidente, com 28% de todas as questões exigindo conhecimento culturalmente sensível. Além disso, para questões que exigem conhecimento geográfico, impressionantes 84,9% se concentram em regiões norte-americanas ou europeias. As classificações das avaliações de modelos mudam dependendo se são avaliadas na porção completa ou no subconjunto de questões anotadas como culturalmente sensíveis, mostrando a distorção nas classificações de modelos ao depender cegamente do MMLU traduzido. Lançamos o Global-MMLU, um MMLU aprimorado com cobertura de avaliação em 42 idiomas -- com qualidade geral aprimorada ao envolver anotadores profissionais e da comunidade remunerados para verificar a qualidade da tradução, enquanto também avaliamos rigorosamente os vieses culturais presentes no conjunto de dados original. Este conjunto Global-MMLU abrangente também inclui subconjuntos designados como culturalmente sensíveis e culturalmente agnósticos para permitir uma avaliação mais holística e completa.

English

Cultural biases in multilingual datasets pose significant challenges for their effectiveness as global benchmarks. These biases stem not only from language but also from the cultural knowledge required to interpret questions, reducing the practical utility of translated datasets like MMLU. Furthermore, translation often introduces artifacts that can distort the meaning or clarity of questions in the target language. A common practice in multilingual evaluation is to rely on machine-translated evaluation sets, but simply translating a dataset is insufficient to address these challenges. In this work, we trace the impact of both of these issues on multilingual evaluations and ensuing model performances. Our large-scale evaluation of state-of-the-art open and proprietary models illustrates that progress on MMLU depends heavily on learning Western-centric concepts, with 28% of all questions requiring culturally sensitive knowledge. Moreover, for questions requiring geographic knowledge, an astounding 84.9% focus on either North American or European regions. Rankings of model evaluations change depending on whether they are evaluated on the full portion or the subset of questions annotated as culturally sensitive, showing the distortion to model rankings when blindly relying on translated MMLU. We release Global-MMLU, an improved MMLU with evaluation coverage across 42 languages -- with improved overall quality by engaging with compensated professional and community annotators to verify translation quality while also rigorously evaluating cultural biases present in the original dataset. This comprehensive Global-MMLU set also includes designated subsets labeled as culturally sensitive and culturally agnostic to allow for more holistic, complete evaluation.

MMLU Global: Compreensão e Abordagem de Viés Culturais e Linguísticos na Avaliação Multilíngue

Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation

Resumo

Support