WizardCoder : Renforcer les modèles de langage de grande taille pour le code avec Evol-Instruct
WizardCoder: Empowering Code Large Language Models with Evol-Instruct
June 14, 2023
Auteurs: Ziyang Luo, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin, Daxin Jiang
cs.AI
Résumé
Les modèles de langage spécialisés en code (Code LLMs), tels que StarCoder, ont démontré des performances exceptionnelles dans les tâches liées au code. Cependant, la plupart des modèles existants sont uniquement pré-entraînés sur de vastes ensembles de données brutes de code, sans affinage par instruction. Dans cet article, nous présentons WizardCoder, qui renforce les Code LLMs grâce à un affinage complexe par instruction, en adaptant la méthode Evol-Instruct au domaine du code. À travers des expériences approfondies sur quatre benchmarks majeurs de génération de code, à savoir HumanEval, HumanEval+, MBPP et DS-1000, nous révélons les capacités exceptionnelles de notre modèle. Il surpasse tous les autres Code LLMs open-source par une marge substantielle. De plus, notre modèle dépasse même les plus grands LLMs fermés, tels que Claude d'Anthropic et Bard de Google, sur HumanEval et HumanEval+. Notre code, les poids du modèle et les données sont publics à l'adresse suivante : https://github.com/nlpxucan/WizardLM
English
Code Large Language Models (Code LLMs), such as StarCoder, have demonstrated
exceptional performance in code-related tasks. However, most existing models
are solely pre-trained on extensive raw code data without instruction
fine-tuning. In this paper, we introduce WizardCoder, which empowers Code LLMs
with complex instruction fine-tuning, by adapting the Evol-Instruct method to
the domain of code. Through comprehensive experiments on four prominent code
generation benchmarks, namely HumanEval, HumanEval+, MBPP, and DS-1000, we
unveil the exceptional capabilities of our model. It surpasses all other
open-source Code LLMs by a substantial margin. Moreover, our model even
outperforms the largest closed LLMs, Anthropic's Claude and Google's Bard, on
HumanEval and HumanEval+. Our code, model weights, and data are public at
https://github.com/nlpxucan/WizardLM