BenchMAX: Um Conjunto Abrangente de Avaliação Multilíngue para Modelos de Linguagem de Grande Escala

BenchMAX: A Comprehensive Multilingual Evaluation Suite for Large Language Models

February 11, 2025

Autores: Xu Huang, Wenhao Zhu, Hanxu Hu, Conghui He, Lei Li, Shujian Huang, Fei Yuan

cs.AI

Resumo

Os benchmarks multilingues anteriores concentram-se principalmente em tarefas de compreensão simples, mas, para os grandes modelos de linguagem (LLMs), enfatizamos a proficiência em seguir instruções, raciocínio, compreensão de contextos longos, geração de código, entre outros. No entanto, a medição dessas capacidades avançadas em diferentes idiomas ainda é pouco explorada. Para abordar essa disparidade, introduzimos o BenchMAX, um benchmark de avaliação multilíngue multidirecional que permite comparações justas dessas habilidades importantes entre idiomas. Para garantir alta qualidade, três anotadores nativos distintos anotam independentemente cada amostra em todas as tarefas após a tradução automática dos dados do inglês para 16 outros idiomas. Além disso, apresentamos um novo desafio de tradução decorrente da construção do conjunto de dados. Experimentos extensivos no BenchMAX revelam variações na eficácia das capacidades centrais entre idiomas, destacando lacunas de desempenho que não podem ser superadas simplesmente aumentando o tamanho do modelo. O BenchMAX serve como uma plataforma abrangente de avaliação multilíngue, oferecendo um ambiente promissor para promover o desenvolvimento de modelos de linguagem multilingues. O conjunto de dados e o código estão publicamente acessíveis.

English

Previous multilingual benchmarks focus primarily on simple understanding tasks, but for large language models(LLMs), we emphasize proficiency in instruction following, reasoning, long context understanding, code generation, and so on. However, measuring these advanced capabilities across languages is underexplored. To address the disparity, we introduce BenchMAX, a multi-way multilingual evaluation benchmark that allows for fair comparisons of these important abilities across languages. To maintain high quality, three distinct native-speaking annotators independently annotate each sample within all tasks after the data was machine-translated from English into 16 other languages. Additionally, we present a novel translation challenge stemming from dataset construction. Extensive experiments on BenchMAX reveal varying effectiveness of core capabilities across languages, highlighting performance gaps that cannot be bridged by simply scaling up model size. BenchMAX serves as a comprehensive multilingual evaluation platform, providing a promising test bed to promote the development of multilingual language models. The dataset and code are publicly accessible.