WizardCoder: Potenziare i Modelli Linguistici di Codice su Grande Scala con Evol-Instruct
WizardCoder: Empowering Code Large Language Models with Evol-Instruct
June 14, 2023
Autori: Ziyang Luo, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin, Daxin Jiang
cs.AI
Abstract
I modelli linguistici di grandi dimensioni per il codice (Code LLMs), come StarCoder, hanno dimostrato prestazioni eccezionali in compiti legati alla programmazione. Tuttavia, la maggior parte dei modelli esistenti viene pre-addestrata esclusivamente su ampi dataset di codice grezzo senza un successivo fine-tuning su istruzioni. In questo articolo, presentiamo WizardCoder, che potenzia i Code LLMs con un fine-tuning complesso su istruzioni, adattando il metodo Evol-Instruct al dominio del codice. Attraverso esperimenti approfonditi su quattro importanti benchmark per la generazione di codice, ovvero HumanEval, HumanEval+, MBPP e DS-1000, riveliamo le capacità eccezionali del nostro modello. Esso supera tutti gli altri Code LLMs open-source con un margine significativo. Inoltre, il nostro modello supera persino i più grandi LLMs chiusi, come Claude di Anthropic e Bard di Google, su HumanEval e HumanEval+. Il nostro codice, i pesi del modello e i dati sono pubblicamente disponibili all'indirizzo https://github.com/nlpxucan/WizardLM.
English
Code Large Language Models (Code LLMs), such as StarCoder, have demonstrated
exceptional performance in code-related tasks. However, most existing models
are solely pre-trained on extensive raw code data without instruction
fine-tuning. In this paper, we introduce WizardCoder, which empowers Code LLMs
with complex instruction fine-tuning, by adapting the Evol-Instruct method to
the domain of code. Through comprehensive experiments on four prominent code
generation benchmarks, namely HumanEval, HumanEval+, MBPP, and DS-1000, we
unveil the exceptional capabilities of our model. It surpasses all other
open-source Code LLMs by a substantial margin. Moreover, our model even
outperforms the largest closed LLMs, Anthropic's Claude and Google's Bard, on
HumanEval and HumanEval+. Our code, model weights, and data are public at
https://github.com/nlpxucan/WizardLM