McEval: Массовая многоязычная оценка кода

McEval: Massively Multilingual Code Evaluation

June 11, 2024

Авторы: Linzheng Chai, Shukai Liu, Jian Yang, Yuwei Yin, Ke Jin, Jiaheng Liu, Tao Sun, Ge Zhang, Changyu Ren, Hongcheng Guo, Zekun Wang, Boyang Wang, Xianjie Wu, Bing Wang, Tongliang Li, Liqun Yang, Sufeng Duan, Zhoujun Li

cs.AI

Аннотация

Большие языковые модели (LLM) для кода продемонстрировали выдающиеся успехи в задачах понимания, завершения и генерации кода. Программные бенчмарки, состоящие из набора задач по коду и соответствующих тестовых случаев, служат стандартом для оценки возможностей различных LLM в таких задачах. Однако большинство существующих бенчмарков в основном сосредоточены на Python и до сих пор ограничены небольшим количеством языков, где другие языки переводятся из образцов на Python (например, MultiPL-E), что снижает разнообразие данных. Для дальнейшего содействия исследованиям кодовых LLM мы предлагаем массово-многоязычный кодовый бенчмарк, охватывающий 40 языков программирования (McEval) с 16 тыс. тестовыми образцами, что значительно расширяет возможности кодовых LLM в многоязычных сценариях. Бенчмарк включает в себя сложные задачи о завершении, понимании и генерации кода с тщательно подобранными массово-многоязычными корпусами инструкций McEval-Instruct. Кроме того, мы представляем эффективного многоязычного кодера mCoder, обученного на McEval-Instruct, для поддержки генерации многоязычных языков программирования. Обширные экспериментальные результаты на McEval показывают, что между открытыми моделями и закрытыми LLM (например, модели серии GPT) на различных языках все еще существует сложный путь. Корпусы инструкций, оценочный бенчмарк и таблица лидеров доступны по ссылке https://mceval.github.io/.

English

Code large language models (LLMs) have shown remarkable advances in code understanding, completion, and generation tasks. Programming benchmarks, comprised of a selection of code challenges and corresponding test cases, serve as a standard to evaluate the capability of different LLMs in such tasks. However, most existing benchmarks primarily focus on Python and are still restricted to a limited number of languages, where other languages are translated from the Python samples (e.g. MultiPL-E) degrading the data diversity. To further facilitate the research of code LLMs, we propose a massively multilingual code benchmark covering 40 programming languages (McEval) with 16K test samples, which substantially pushes the limits of code LLMs in multilingual scenarios. The benchmark contains challenging code completion, understanding, and generation evaluation tasks with finely curated massively multilingual instruction corpora McEval-Instruct. In addition, we introduce an effective multilingual coder mCoder trained on McEval-Instruct to support multilingual programming language generation. Extensive experimental results on McEval show that there is still a difficult journey between open-source models and closed-source LLMs (e.g. GPT-series models) in numerous languages. The instruction corpora, evaluation benchmark, and leaderboard are available at https://mceval.github.io/.