WaveCoder：洗練されたデータ生成による広範かつ多用途な拡張命令チューニング

WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation

December 20, 2023

著者: Zhaojian Yu, Xin Zhang, Ning Shang, Yangyu Huang, Can Xu, Yishujie Zhao, Wenxiang Hu, Qiufeng Yin

cs.AI

要旨

最近の研究では、高品質な指示データセットでファインチューニングを行うことで、幅広いタスクに対応する印象的な能力を獲得できることが示されています。しかし、既存の指示データ生成手法では、重複データが生成されることが多く、データ品質の制御が十分ではありません。本論文では、指示データを4つのコード関連タスクに分類することで指示チューニングの汎化性能を拡張し、オープンソースコードから多様で高品質な指示データを生成するためのLLMベースのGenerator-Discriminatorデータ処理フレームワークを提案します。これにより、指示チューニングの効果を高め、ファインチューニングされたモデルの汎化能力を向上させることを目的とした、4つの汎用コード関連タスクにわたる20,000の指示インスタンスを含むデータセット「CodeOcean」を紹介します。さらに、コード言語モデル（LLM）の指示チューニングを強化するために特別に設計された、Widespread And Versatile Enhanced指示チューニングを施したコードLLM「WaveCoder」を提示します。実験結果から、WaveCoderモデルは、同じファインチューニング規模において、他のオープンソースモデルを上回る汎化能力を示し、従来のコード生成タスクにおいても高い効率性を発揮することが明らかになりました。本論文は、指示データ生成とファインチューニングモデルの分野に重要な貢献を提供し、コード関連タスクにおける性能向上のための新たな洞察とツールを提供します。

English

Recent work demonstrates that, after being fine-tuned on a high-quality instruction dataset, the resulting model can obtain impressive capabilities to address a wide range of tasks. However, existing methods for instruction data generation often produce duplicate data and are not controllable enough on data quality. In this paper, we extend the generalization of instruction tuning by classifying the instruction data to 4 code-related tasks and propose a LLM-based Generator-Discriminator data process framework to generate diverse, high-quality instruction data from open source code. Hence, we introduce CodeOcean, a dataset comprising 20,000 instruction instances across 4 universal code-related tasks,which is aimed at augmenting the effectiveness of instruction tuning and improving the generalization ability of fine-tuned model. Subsequently, we present WaveCoder, a fine-tuned Code LLM with Widespread And Versatile Enhanced instruction tuning. This model is specifically designed for enhancing instruction tuning of Code Language Models (LLMs). Our experiments demonstrate that Wavecoder models outperform other open-source models in terms of generalization ability across different code-related tasks at the same level of fine-tuning scale. Moreover, Wavecoder exhibits high efficiency in previous code generation tasks. This paper thus offers a significant contribution to the field of instruction data generation and fine-tuning models, providing new insights and tools for enhancing performance in code-related tasks.