WizardCoder: Расширение возможностей языковых моделей для программирования с помощью Evol-Instruct
WizardCoder: Empowering Code Large Language Models with Evol-Instruct
June 14, 2023
Авторы: Ziyang Luo, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin, Daxin Jiang
cs.AI
Аннотация
Крупные языковые модели для работы с кодом (Code LLMs), такие как StarCoder, продемонстрировали выдающиеся результаты в задачах, связанных с кодом. Однако большинство существующих моделей обучаются исключительно на обширных наборах сырых данных кода без тонкой настройки на инструкции. В данной статье мы представляем WizardCoder, который расширяет возможности Code LLMs за счет сложной тонкой настройки на инструкции, адаптируя метод Evol-Instruct для работы с кодом. В ходе всесторонних экспериментов на четырех ключевых бенчмарках генерации кода — HumanEval, HumanEval+, MBPP и DS-1000 — мы раскрываем исключительные способности нашей модели. Она значительно превосходит все другие открытые Code LLMs. Более того, наша модель даже обходит крупнейшие закрытые LLMs, такие как Claude от Anthropic и Bard от Google, на тестах HumanEval и HumanEval+. Наш код, веса модели и данные доступны по адресу https://github.com/nlpxucan/WizardLM.
English
Code Large Language Models (Code LLMs), such as StarCoder, have demonstrated
exceptional performance in code-related tasks. However, most existing models
are solely pre-trained on extensive raw code data without instruction
fine-tuning. In this paper, we introduce WizardCoder, which empowers Code LLMs
with complex instruction fine-tuning, by adapting the Evol-Instruct method to
the domain of code. Through comprehensive experiments on four prominent code
generation benchmarks, namely HumanEval, HumanEval+, MBPP, and DS-1000, we
unveil the exceptional capabilities of our model. It surpasses all other
open-source Code LLMs by a substantial margin. Moreover, our model even
outperforms the largest closed LLMs, Anthropic's Claude and Google's Bard, on
HumanEval and HumanEval+. Our code, model weights, and data are public at
https://github.com/nlpxucan/WizardLM