WizardCoder: Code Large Language Models Versterken met Evol-Instruct

WizardCoder: Empowering Code Large Language Models with Evol-Instruct

June 14, 2023

Auteurs: Ziyang Luo, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin, Daxin Jiang

cs.AI

Samenvatting

Code Large Language Models (Code LLMs), zoals StarCoder, hebben uitzonderlijke prestaties getoond in code-gerelateerde taken. De meeste bestaande modellen zijn echter alleen voorgetraind op uitgebreide ruwe codegegevens zonder instructie-finetuning. In dit artikel introduceren we WizardCoder, dat Code LLMs uitrust met complexe instructie-finetuning, door de Evol-Instruct methode aan te passen aan het domein van code. Door middel van uitgebreide experimenten op vier prominente codegeneratie benchmarks, namelijk HumanEval, HumanEval+, MBPP en DS-1000, onthullen we de uitzonderlijke capaciteiten van ons model. Het overtreft alle andere open-source Code LLMs met een aanzienlijke marge. Bovendien presteert ons model zelfs beter dan de grootste gesloten LLMs, Anthropic's Claude en Google's Bard, op HumanEval en HumanEval+. Onze code, modelgewichten en gegevens zijn openbaar beschikbaar op https://github.com/nlpxucan/WizardLM.

English

Code Large Language Models (Code LLMs), such as StarCoder, have demonstrated exceptional performance in code-related tasks. However, most existing models are solely pre-trained on extensive raw code data without instruction fine-tuning. In this paper, we introduce WizardCoder, which empowers Code LLMs with complex instruction fine-tuning, by adapting the Evol-Instruct method to the domain of code. Through comprehensive experiments on four prominent code generation benchmarks, namely HumanEval, HumanEval+, MBPP, and DS-1000, we unveil the exceptional capabilities of our model. It surpasses all other open-source Code LLMs by a substantial margin. Moreover, our model even outperforms the largest closed LLMs, Anthropic's Claude and Google's Bard, on HumanEval and HumanEval+. Our code, model weights, and data are public at https://github.com/nlpxucan/WizardLM