WaveCoder : Réglage d'instructions amélioré étendu et polyvalent avec génération de données raffinées

WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation

December 20, 2023

Auteurs: Zhaojian Yu, Xin Zhang, Ning Shang, Yangyu Huang, Can Xu, Yishujie Zhao, Wenxiang Hu, Qiufeng Yin

cs.AI

Résumé

Des travaux récents démontrent qu'après un ajustement fin sur un ensemble de données d'instructions de haute qualité, le modèle résultant peut acquérir des capacités impressionnantes pour traiter une large gamme de tâches. Cependant, les méthodes existantes pour la génération de données d'instructions produisent souvent des données dupliquées et ne sont pas suffisamment contrôlables en termes de qualité des données. Dans cet article, nous étendons la généralisation de l'ajustement par instructions en classant les données d'instructions selon 4 tâches liées au code et proposons un cadre de traitement des données basé sur un générateur-discriminateur utilisant un modèle de langage (LLM) pour générer des données d'instructions diversifiées et de haute qualité à partir de code open source. Ainsi, nous introduisons CodeOcean, un ensemble de données comprenant 20 000 instances d'instructions couvrant 4 tâches universelles liées au code, visant à augmenter l'efficacité de l'ajustement par instructions et à améliorer la capacité de généralisation du modèle ajusté. Par la suite, nous présentons WaveCoder, un modèle de langage de code (Code LLM) ajusté avec un ajustement par instructions amélioré, étendu et polyvalent. Ce modèle est spécifiquement conçu pour améliorer l'ajustement par instructions des modèles de langage de code (LLMs). Nos expériences montrent que les modèles WaveCoder surpassent d'autres modèles open source en termes de capacité de généralisation sur différentes tâches liées au code, à un niveau d'ajustement fin équivalent. De plus, WaveCoder démontre une grande efficacité dans les tâches précédentes de génération de code. Cet article apporte ainsi une contribution significative au domaine de la génération de données d'instructions et de l'ajustement fin des modèles, offrant de nouvelles perspectives et outils pour améliorer les performances dans les tâches liées au code.

English

Recent work demonstrates that, after being fine-tuned on a high-quality instruction dataset, the resulting model can obtain impressive capabilities to address a wide range of tasks. However, existing methods for instruction data generation often produce duplicate data and are not controllable enough on data quality. In this paper, we extend the generalization of instruction tuning by classifying the instruction data to 4 code-related tasks and propose a LLM-based Generator-Discriminator data process framework to generate diverse, high-quality instruction data from open source code. Hence, we introduce CodeOcean, a dataset comprising 20,000 instruction instances across 4 universal code-related tasks,which is aimed at augmenting the effectiveness of instruction tuning and improving the generalization ability of fine-tuned model. Subsequently, we present WaveCoder, a fine-tuned Code LLM with Widespread And Versatile Enhanced instruction tuning. This model is specifically designed for enhancing instruction tuning of Code Language Models (LLMs). Our experiments demonstrate that Wavecoder models outperform other open-source models in terms of generalization ability across different code-related tasks at the same level of fine-tuning scale. Moreover, Wavecoder exhibits high efficiency in previous code generation tasks. This paper thus offers a significant contribution to the field of instruction data generation and fine-tuning models, providing new insights and tools for enhancing performance in code-related tasks.