WizardCoder: Stärkung von Code-Großsprachmodellen durch Evol-Instruct
WizardCoder: Empowering Code Large Language Models with Evol-Instruct
June 14, 2023
Autoren: Ziyang Luo, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin, Daxin Jiang
cs.AI
Zusammenfassung
Code Large Language Models (Code LLMs), wie StarCoder, haben außergewöhnliche Leistungen bei codebezogenen Aufgaben gezeigt. Die meisten bestehenden Modelle werden jedoch ausschließlich auf umfangreichen Rohdaten von Code vortrainiert, ohne eine Feinabstimmung durch Instruktionen. In diesem Artikel stellen wir WizardCoder vor, das Code LLMs durch komplexe Instruktionsfeinabstimmung stärkt, indem die Evol-Instruct-Methode auf den Bereich des Codes angewendet wird. Durch umfassende Experimente auf vier bedeutenden Benchmarks für Code-Generierung, nämlich HumanEval, HumanEval+, MBPP und DS-1000, enthüllen wir die außergewöhnlichen Fähigkeiten unseres Modells. Es übertrifft alle anderen Open-Source-Code-LLMs mit deutlichem Abstand. Darüber hinaus übertrifft unser Modell sogar die größten geschlossenen LLMs, Anthropics Claude und Googles Bard, bei HumanEval und HumanEval+. Unser Code, die Modellgewichte und die Daten sind öffentlich unter https://github.com/nlpxucan/WizardLM verfügbar.
English
Code Large Language Models (Code LLMs), such as StarCoder, have demonstrated
exceptional performance in code-related tasks. However, most existing models
are solely pre-trained on extensive raw code data without instruction
fine-tuning. In this paper, we introduce WizardCoder, which empowers Code LLMs
with complex instruction fine-tuning, by adapting the Evol-Instruct method to
the domain of code. Through comprehensive experiments on four prominent code
generation benchmarks, namely HumanEval, HumanEval+, MBPP, and DS-1000, we
unveil the exceptional capabilities of our model. It surpasses all other
open-source Code LLMs by a substantial margin. Moreover, our model even
outperforms the largest closed LLMs, Anthropic's Claude and Google's Bard, on
HumanEval and HumanEval+. Our code, model weights, and data are public at
https://github.com/nlpxucan/WizardLM