McEval: Evaluación de Código Masivamente Multilingüe

McEval: Massively Multilingual Code Evaluation

June 11, 2024

Autores: Linzheng Chai, Shukai Liu, Jian Yang, Yuwei Yin, Ke Jin, Jiaheng Liu, Tao Sun, Ge Zhang, Changyu Ren, Hongcheng Guo, Zekun Wang, Boyang Wang, Xianjie Wu, Bing Wang, Tongliang Li, Liqun Yang, Sufeng Duan, Zhoujun Li

cs.AI

Resumen

Los modelos de lenguaje de gran tamaño (LLMs) para código han demostrado avances notables en tareas de comprensión, completado y generación de código. Los benchmarks de programación, compuestos por una selección de desafíos de código y casos de prueba correspondientes, sirven como estándar para evaluar la capacidad de diferentes LLMs en dichas tareas. Sin embargo, la mayoría de los benchmarks existentes se centran principalmente en Python y aún están limitados a un número reducido de lenguajes, donde otros lenguajes se traducen a partir de muestras de Python (por ejemplo, MultiPL-E), lo que reduce la diversidad de los datos. Para facilitar aún más la investigación de los LLMs de código, proponemos un benchmark de código masivamente multilingüe que abarca 40 lenguajes de programación (McEval) con 16K muestras de prueba, lo que amplía sustancialmente los límites de los LLMs de código en escenarios multilingües. El benchmark contiene tareas desafiantes de evaluación de completado, comprensión y generación de código, junto con un corpus de instrucciones masivamente multilingüe cuidadosamente seleccionado, McEval-Instruct. Además, presentamos un codificador multilingüe efectivo, mCoder, entrenado en McEval-Instruct, para apoyar la generación de lenguajes de programación multilingües. Los resultados experimentales extensivos en McEval muestran que aún existe un camino difícil entre los modelos de código abierto y los LLMs de código cerrado (por ejemplo, los modelos de la serie GPT) en numerosos lenguajes. El corpus de instrucciones, el benchmark de evaluación y el ranking están disponibles en https://mceval.github.io/.

English

Code large language models (LLMs) have shown remarkable advances in code understanding, completion, and generation tasks. Programming benchmarks, comprised of a selection of code challenges and corresponding test cases, serve as a standard to evaluate the capability of different LLMs in such tasks. However, most existing benchmarks primarily focus on Python and are still restricted to a limited number of languages, where other languages are translated from the Python samples (e.g. MultiPL-E) degrading the data diversity. To further facilitate the research of code LLMs, we propose a massively multilingual code benchmark covering 40 programming languages (McEval) with 16K test samples, which substantially pushes the limits of code LLMs in multilingual scenarios. The benchmark contains challenging code completion, understanding, and generation evaluation tasks with finely curated massively multilingual instruction corpora McEval-Instruct. In addition, we introduce an effective multilingual coder mCoder trained on McEval-Instruct to support multilingual programming language generation. Extensive experimental results on McEval show that there is still a difficult journey between open-source models and closed-source LLMs (e.g. GPT-series models) in numerous languages. The instruction corpora, evaluation benchmark, and leaderboard are available at https://mceval.github.io/.