WizardCoder: Evol-Instruct를 통해 강화된 코드 대형 언어 모델

초록

StarCoder와 같은 코드 대형 언어 모델(Code LLMs)은 코드 관련 작업에서 탁월한 성능을 보여주고 있습니다. 그러나 대부분의 기존 모델들은 방대한 원시 코드 데이터만으로 사전 학습되었으며, 명령어 미세 조정은 이루어지지 않았습니다. 본 논문에서는 코드 영역에 Evol-Instruct 방법을 적용하여 복잡한 명령어 미세 조정을 통해 Code LLMs의 성능을 강화한 WizardCoder를 소개합니다. HumanEval, HumanEval+, MBPP, DS-1000 등 네 가지 주요 코드 생성 벤치마크에 대한 포괄적인 실험을 통해 우리 모델의 뛰어난 능력을 입증했습니다. 이 모델은 모든 오픈소스 Code LLMs을 상당한 차이로 능가하며, HumanEval과 HumanEval+에서는 Anthropic의 Claude와 Google의 Bard와 같은 가장 큰 폐쇄형 LLMs보다도 더 나은 성능을 보였습니다. 우리의 코드, 모델 가중치, 데이터는 https://github.com/nlpxucan/WizardLM에서 공개되어 있습니다.

English

Code Large Language Models (Code LLMs), such as StarCoder, have demonstrated exceptional performance in code-related tasks. However, most existing models are solely pre-trained on extensive raw code data without instruction fine-tuning. In this paper, we introduce WizardCoder, which empowers Code LLMs with complex instruction fine-tuning, by adapting the Evol-Instruct method to the domain of code. Through comprehensive experiments on four prominent code generation benchmarks, namely HumanEval, HumanEval+, MBPP, and DS-1000, we unveil the exceptional capabilities of our model. It surpasses all other open-source Code LLMs by a substantial margin. Moreover, our model even outperforms the largest closed LLMs, Anthropic's Claude and Google's Bard, on HumanEval and HumanEval+. Our code, model weights, and data are public at https://github.com/nlpxucan/WizardLM

WizardCoder: Evol-Instruct를 통해 강화된 코드 대형 언어 모델

WizardCoder: Empowering Code Large Language Models with Evol-Instruct

초록

Support