WizardCoder: Evol-Instructによるコード大規模言語モデルの強化

要旨

StarCoderのようなコード大規模言語モデル（Code LLMs）は、コード関連タスクで卓越した性能を発揮しています。しかし、既存のモデルの多くは、広範な生のコードデータのみで事前学習されており、指示ファインチューニングが施されていません。本論文では、Evol-Instruct手法をコード領域に適応させることで、複雑な指示ファインチューニングをCode LLMsに施したWizardCoderを紹介します。HumanEval、HumanEval+、MBPP、DS-1000という4つの主要なコード生成ベンチマークでの包括的な実験を通じて、我々のモデルの卓越した能力を明らかにしました。このモデルは、他のすべてのオープンソースCode LLMsを大幅に上回っています。さらに、HumanEvalとHumanEval+において、AnthropicのClaudeやGoogleのBardといった最大規模のクローズドLLMsをも凌駕する性能を示しています。我々のコード、モデル重み、データはhttps://github.com/nlpxucan/WizardLMで公開されています。

English

Code Large Language Models (Code LLMs), such as StarCoder, have demonstrated exceptional performance in code-related tasks. However, most existing models are solely pre-trained on extensive raw code data without instruction fine-tuning. In this paper, we introduce WizardCoder, which empowers Code LLMs with complex instruction fine-tuning, by adapting the Evol-Instruct method to the domain of code. Through comprehensive experiments on four prominent code generation benchmarks, namely HumanEval, HumanEval+, MBPP, and DS-1000, we unveil the exceptional capabilities of our model. It surpasses all other open-source Code LLMs by a substantial margin. Moreover, our model even outperforms the largest closed LLMs, Anthropic's Claude and Google's Bard, on HumanEval and HumanEval+. Our code, model weights, and data are public at https://github.com/nlpxucan/WizardLM

WizardCoder: Evol-Instructによるコード大規模言語モデルの強化

WizardCoder: Empowering Code Large Language Models with Evol-Instruct

要旨

Support