McEval: Massaal Meertalige Code-evaluatie

McEval: Massively Multilingual Code Evaluation

June 11, 2024

Auteurs: Linzheng Chai, Shukai Liu, Jian Yang, Yuwei Yin, Ke Jin, Jiaheng Liu, Tao Sun, Ge Zhang, Changyu Ren, Hongcheng Guo, Zekun Wang, Boyang Wang, Xianjie Wu, Bing Wang, Tongliang Li, Liqun Yang, Sufeng Duan, Zhoujun Li

cs.AI

Samenvatting

Code large language models (LLM's) hebben opmerkelijke vooruitgang geboekt in taken zoals codebegrip, -completering en -generatie. Programmeerbenchmarks, bestaande uit een selectie van code-uitdagingen en bijbehorende testgevallen, dienen als standaard om de capaciteit van verschillende LLM's in dergelijke taken te evalueren. De meeste bestaande benchmarks richten zich echter voornamelijk op Python en zijn nog steeds beperkt tot een beperkt aantal talen, waarbij andere talen worden vertaald vanuit de Python-voorbeelden (bijv. MultiPL-E), wat de diversiteit van de data vermindert. Om het onderzoek naar code-LLM's verder te faciliteren, stellen we een massaal meertalige codebenchmark voor die 40 programmeertalen omvat (McEval) met 16K testgevallen, wat de grenzen van code-LLM's in meertalige scenario's aanzienlijk verlegt. De benchmark bevat uitdagende evaluatietaken voor codecompletering, -begrip en -generatie, aangevuld met zorgvuldig samengestelde massaal meertalige instructiecorpora McEval-Instruct. Daarnaast introduceren we een effectieve meertalige coder, mCoder, getraind op McEval-Instruct, om meertalige programmeertaalgeneratie te ondersteunen. Uitgebreide experimentele resultaten op McEval tonen aan dat er nog een moeilijke weg te gaan is tussen open-source modellen en gesloten bron-LLM's (bijv. GPT-serie modellen) in tal van talen. De instructiecorpora, evaluatiebenchmark en leaderboard zijn beschikbaar op https://mceval.github.io/.

English

Code large language models (LLMs) have shown remarkable advances in code understanding, completion, and generation tasks. Programming benchmarks, comprised of a selection of code challenges and corresponding test cases, serve as a standard to evaluate the capability of different LLMs in such tasks. However, most existing benchmarks primarily focus on Python and are still restricted to a limited number of languages, where other languages are translated from the Python samples (e.g. MultiPL-E) degrading the data diversity. To further facilitate the research of code LLMs, we propose a massively multilingual code benchmark covering 40 programming languages (McEval) with 16K test samples, which substantially pushes the limits of code LLMs in multilingual scenarios. The benchmark contains challenging code completion, understanding, and generation evaluation tasks with finely curated massively multilingual instruction corpora McEval-Instruct. In addition, we introduce an effective multilingual coder mCoder trained on McEval-Instruct to support multilingual programming language generation. Extensive experimental results on McEval show that there is still a difficult journey between open-source models and closed-source LLMs (e.g. GPT-series models) in numerous languages. The instruction corpora, evaluation benchmark, and leaderboard are available at https://mceval.github.io/.