WaveCoder: 정제된 데이터 생성을 통한 광범위하고 다용도의 향상된 명령어 튜닝

초록

최근 연구에 따르면, 고품질의 명령어 데이터셋으로 미세 조정(fine-tuning)을 수행한 후, 결과 모델은 다양한 작업을 처리할 수 있는 인상적인 능력을 얻을 수 있음이 입증되었습니다. 그러나 기존의 명령어 데이터 생성 방법은 종종 중복 데이터를 생성하며 데이터 품질에 대한 충분한 제어가 이루어지지 않습니다. 본 논문에서는 명령어 데이터를 4가지 코드 관련 작업으로 분류하여 명령어 튜닝의 일반화를 확장하고, 오픈 소스 코드로부터 다양하고 고품질의 명령어 데이터를 생성하기 위해 LLM 기반의 생성자-판별자(Generator-Discriminator) 데이터 처리 프레임워크를 제안합니다. 이를 통해, 명령어 튜닝의 효과를 증대하고 미세 조정된 모델의 일반화 능력을 향상시키기 위해 4가지 보편적인 코드 관련 작업에 걸쳐 20,000개의 명령어 인스턴스로 구성된 CodeOcean 데이터셋을 소개합니다. 또한, Widespread And Versatile Enhanced instruction tuning을 적용한 미세 조정된 Code LLM인 WaveCoder를 제시합니다. 이 모델은 코드 언어 모델(LLM)의 명령어 튜닝을 강화하기 위해 특별히 설계되었습니다. 우리의 실험 결과, WaveCoder 모델은 동일한 수준의 미세 조정 규모에서 다른 오픈 소스 모델들보다 다양한 코드 관련 작업에서 더 우수한 일반화 능력을 보여주었습니다. 또한, WaveCoder는 이전의 코드 생성 작업에서 높은 효율성을 나타냈습니다. 따라서 본 논문은 명령어 데이터 생성 및 미세 조정 모델 분야에 중요한 기여를 하며, 코드 관련 작업의 성능을 향상시키기 위한 새로운 통찰과 도구를 제공합니다.

English

Recent work demonstrates that, after being fine-tuned on a high-quality instruction dataset, the resulting model can obtain impressive capabilities to address a wide range of tasks. However, existing methods for instruction data generation often produce duplicate data and are not controllable enough on data quality. In this paper, we extend the generalization of instruction tuning by classifying the instruction data to 4 code-related tasks and propose a LLM-based Generator-Discriminator data process framework to generate diverse, high-quality instruction data from open source code. Hence, we introduce CodeOcean, a dataset comprising 20,000 instruction instances across 4 universal code-related tasks,which is aimed at augmenting the effectiveness of instruction tuning and improving the generalization ability of fine-tuned model. Subsequently, we present WaveCoder, a fine-tuned Code LLM with Widespread And Versatile Enhanced instruction tuning. This model is specifically designed for enhancing instruction tuning of Code Language Models (LLMs). Our experiments demonstrate that Wavecoder models outperform other open-source models in terms of generalization ability across different code-related tasks at the same level of fine-tuning scale. Moreover, Wavecoder exhibits high efficiency in previous code generation tasks. This paper thus offers a significant contribution to the field of instruction data generation and fine-tuning models, providing new insights and tools for enhancing performance in code-related tasks.

WaveCoder: 정제된 데이터 생성을 통한 광범위하고 다용도의 향상된 명령어 튜닝

WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation

초록

Support