McEval: 大規模多言語コード評価

McEval: Massively Multilingual Code Evaluation

June 11, 2024

著者: Linzheng Chai, Shukai Liu, Jian Yang, Yuwei Yin, Ke Jin, Jiaheng Liu, Tao Sun, Ge Zhang, Changyu Ren, Hongcheng Guo, Zekun Wang, Boyang Wang, Xianjie Wu, Bing Wang, Tongliang Li, Liqun Yang, Sufeng Duan, Zhoujun Li

cs.AI

要旨

コード大規模言語モデル（LLM）は、コードの理解、補完、生成タスクにおいて顕著な進歩を示しています。プログラミングベンチマークは、コードチャレンジと対応するテストケースの選択から構成され、さまざまなLLMの能力を評価するための標準として機能します。しかし、既存のベンチマークのほとんどはPythonに焦点を当てており、他の言語はPythonのサンプルから翻訳されているため（例：MultiPL-E）、データの多様性が低下しています。コードLLMの研究をさらに促進するため、40のプログラミング言語をカバーする大規模多言語コードベンチマーク（McEval）を提案します。このベンチマークは16Kのテストサンプルを含み、多言語シナリオにおけるコードLLMの限界を大幅に押し上げます。ベンチマークには、コード補完、理解、生成の評価タスクが含まれており、細心の注意を払ってキュレーションされた大規模多言語指示コーパスMcEval-Instructが使用されています。さらに、McEval-Instructでトレーニングされた効果的な多言語コーダーmCoderを導入し、多言語プログラミング言語生成をサポートします。McEvalでの広範な実験結果は、オープンソースモデルとクローズドソースLLM（例：GPTシリーズモデル）の間には、多くの言語においてまだ困難な道のりがあることを示しています。指示コーパス、評価ベンチマーク、およびリーダーボードはhttps://mceval.github.io/で利用可能です。

English

Code large language models (LLMs) have shown remarkable advances in code understanding, completion, and generation tasks. Programming benchmarks, comprised of a selection of code challenges and corresponding test cases, serve as a standard to evaluate the capability of different LLMs in such tasks. However, most existing benchmarks primarily focus on Python and are still restricted to a limited number of languages, where other languages are translated from the Python samples (e.g. MultiPL-E) degrading the data diversity. To further facilitate the research of code LLMs, we propose a massively multilingual code benchmark covering 40 programming languages (McEval) with 16K test samples, which substantially pushes the limits of code LLMs in multilingual scenarios. The benchmark contains challenging code completion, understanding, and generation evaluation tasks with finely curated massively multilingual instruction corpora McEval-Instruct. In addition, we introduce an effective multilingual coder mCoder trained on McEval-Instruct to support multilingual programming language generation. Extensive experimental results on McEval show that there is still a difficult journey between open-source models and closed-source LLMs (e.g. GPT-series models) in numerous languages. The instruction corpora, evaluation benchmark, and leaderboard are available at https://mceval.github.io/.