BenchMAX: un conjunto de evaluación multilingüe exhaustivo para modelos de lenguaje grandes

BenchMAX: A Comprehensive Multilingual Evaluation Suite for Large Language Models

February 11, 2025

Autores: Xu Huang, Wenhao Zhu, Hanxu Hu, Conghui He, Lei Li, Shujian Huang, Fei Yuan

cs.AI

Resumen

Los benchmarks multilingües anteriores se centran principalmente en tareas de comprensión simples, pero para los grandes modelos de lenguaje (LLMs), enfatizamos la competencia en seguir instrucciones, razonamiento, comprensión de contextos extensos, generación de código, y más. Sin embargo, la medición de estas capacidades avanzadas en varios idiomas está poco explorada. Para abordar esta disparidad, presentamos BenchMAX, un benchmark de evaluación multilingüe de múltiples vías que permite comparaciones justas de estas habilidades importantes en varios idiomas. Para mantener una alta calidad, tres anotadores nativos distintos anotan de forma independiente cada muestra en todas las tareas después de que los datos se tradujeran automáticamente del inglés a otros 16 idiomas. Además, presentamos un desafío de traducción novedoso derivado de la construcción del conjunto de datos. Experimentos exhaustivos en BenchMAX revelan la efectividad variable de las capacidades fundamentales en varios idiomas, resaltando brechas de rendimiento que no pueden ser superadas simplemente escalando el tamaño del modelo. BenchMAX sirve como una plataforma de evaluación multilingüe integral, proporcionando un prometedor banco de pruebas para fomentar el desarrollo de modelos de lenguaje multilingües. El conjunto de datos y el código son de acceso público.

English

Previous multilingual benchmarks focus primarily on simple understanding tasks, but for large language models(LLMs), we emphasize proficiency in instruction following, reasoning, long context understanding, code generation, and so on. However, measuring these advanced capabilities across languages is underexplored. To address the disparity, we introduce BenchMAX, a multi-way multilingual evaluation benchmark that allows for fair comparisons of these important abilities across languages. To maintain high quality, three distinct native-speaking annotators independently annotate each sample within all tasks after the data was machine-translated from English into 16 other languages. Additionally, we present a novel translation challenge stemming from dataset construction. Extensive experiments on BenchMAX reveal varying effectiveness of core capabilities across languages, highlighting performance gaps that cannot be bridged by simply scaling up model size. BenchMAX serves as a comprehensive multilingual evaluation platform, providing a promising test bed to promote the development of multilingual language models. The dataset and code are publicly accessible.