WaveCoder: Масштабная и универсальная улучшенная настройка инструкций с использованием уточненной генерации данных

WaveCoder: Widespread And Versatile Enhanced Instruction Tuning with Refined Data Generation

December 20, 2023

Авторы: Zhaojian Yu, Xin Zhang, Ning Shang, Yangyu Huang, Can Xu, Yishujie Zhao, Wenxiang Hu, Qiufeng Yin

cs.AI

Аннотация

Недавние исследования показывают, что после тонкой настройки на высококачественном наборе инструкций результирующая модель может демонстрировать впечатляющие способности для решения широкого круга задач. Однако существующие методы генерации данных для инструкций часто производят дублирующиеся данные и недостаточно контролируют их качество. В данной статье мы расширяем обобщаемость настройки на инструкциях, классифицируя данные инструкций на 4 задачи, связанные с кодом, и предлагаем основанную на больших языковых моделях (LLM) структуру обработки данных "Генератор-Дискриминатор" для создания разнообразных и высококачественных данных инструкций из открытого исходного кода. Таким образом, мы представляем CodeOcean — набор данных, содержащий 20 000 экземпляров инструкций для 4 универсальных задач, связанных с кодом, который направлен на повышение эффективности настройки на инструкциях и улучшение обобщающей способности тонко настроенной модели. Далее мы представляем WaveCoder — тонко настроенную модель для работы с кодом (Code LLM), использующую расширенную настройку на инструкциях с широким и универсальным охватом. Эта модель специально разработана для улучшения настройки на инструкциях языковых моделей для работы с кодом (Code LLMs). Наши эксперименты демонстрируют, что модели Wavecoder превосходят другие модели с открытым исходным кодом по обобщающей способности в различных задачах, связанных с кодом, при том же уровне масштаба тонкой настройки. Более того, Wavecoder демонстрирует высокую эффективность в предыдущих задачах генерации кода. Таким образом, данная статья вносит значительный вклад в область генерации данных для инструкций и тонкой настройки моделей, предоставляя новые идеи и инструменты для повышения производительности в задачах, связанных с кодом.

English

Recent work demonstrates that, after being fine-tuned on a high-quality instruction dataset, the resulting model can obtain impressive capabilities to address a wide range of tasks. However, existing methods for instruction data generation often produce duplicate data and are not controllable enough on data quality. In this paper, we extend the generalization of instruction tuning by classifying the instruction data to 4 code-related tasks and propose a LLM-based Generator-Discriminator data process framework to generate diverse, high-quality instruction data from open source code. Hence, we introduce CodeOcean, a dataset comprising 20,000 instruction instances across 4 universal code-related tasks,which is aimed at augmenting the effectiveness of instruction tuning and improving the generalization ability of fine-tuned model. Subsequently, we present WaveCoder, a fine-tuned Code LLM with Widespread And Versatile Enhanced instruction tuning. This model is specifically designed for enhancing instruction tuning of Code Language Models (LLMs). Our experiments demonstrate that Wavecoder models outperform other open-source models in terms of generalization ability across different code-related tasks at the same level of fine-tuning scale. Moreover, Wavecoder exhibits high efficiency in previous code generation tasks. This paper thus offers a significant contribution to the field of instruction data generation and fine-tuning models, providing new insights and tools for enhancing performance in code-related tasks.