Исследование согласованности форматов для настройки инструкций

Exploring Format Consistency for Instruction Tuning

July 28, 2023

Авторы: Shihao Liang, Kunlun Zhu, Runchu Tian, Yujia Qin, Huadong Wang, Xin Cong, Zhiyuan Liu, Xiaojiang Liu, Maosong Sun

cs.AI

Аннотация

Настройка на инструкции стала перспективным подходом для улучшения крупных языковых моделей в следовании человеческим инструкциям. Показано, что увеличение разнообразия и количества инструкций в обучающих данных может последовательно улучшать обобщающую способность, что способствует недавним усилиям по сбору различных инструкций и объединению существующих наборов данных для настройки на инструкции в более крупные коллекции. Однако разные пользователи имеют свои уникальные способы формулирования инструкций, и часто существуют различия в стилях и форматах инструкций между различными наборами данных, то есть несогласованность форматов. В данной работе мы исследуем, как несогласованность форматов может влиять на производительность настройки на инструкции. Мы предлагаем фреймворк под названием "Унифицированная настройка на инструкции" (Unified Instruction Tuning, UIT), который использует API OpenAI для автоматического преобразования форматов между различными наборами данных для настройки на инструкции. Мы показываем, что UIT успешно улучшает обобщающую способность на невидимых инструкциях, что подчеркивает важность согласованности форматов для настройки на инструкции. Чтобы сделать фреймворк UIT более практичным, мы также предлагаем новый метод удаления шума на основе перплексии для снижения уровня шума при автоматическом преобразовании форматов. Кроме того, мы обучаем меньшую автономную модель, которая достигает сопоставимой способности преобразования форматов с API OpenAI, чтобы снизить затраты на практике.

English

Instruction tuning has emerged as a promising approach to enhancing large language models in following human instructions. It is shown that increasing the diversity and number of instructions in the training data can consistently enhance generalization performance, which facilitates a recent endeavor to collect various instructions and integrate existing instruction tuning datasets into larger collections. However, different users have their unique ways of expressing instructions, and there often exist variations across different datasets in the instruction styles and formats, i.e., format inconsistency. In this work, we study how format inconsistency may impact the performance of instruction tuning. We propose a framework called "Unified Instruction Tuning" (UIT), which calls OpenAI APIs for automatic format transfer among different instruction tuning datasets. We show that UIT successfully improves the generalization performance on unseen instructions, which highlights the importance of format consistency for instruction tuning. To make the UIT framework more practical, we further propose a novel perplexity-based denoising method to reduce the noise of automatic format transfer. We also train a smaller offline model that achieves comparable format transfer capability than OpenAI APIs to reduce costs in practice.