Становление самообучаемым: введение критериев ранней остановки для минимальной настройки инструкций

Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning

July 5, 2023

Авторы: Waseem AlShikh, Manhal Daaboul, Kirk Goddard, Brock Imel, Kiran Kamble, Parikshith Kulkarni, Melisa Russak

cs.AI

Аннотация

В данной статье мы представляем метрику Score for Instruction Following (IFS), которая оценивает способность языковых моделей следовать инструкциям. Метрика имеет двойное назначение. Во-первых, IFS может использоваться для различения базовых и инструктивных моделей. Мы проводим сравнительный анализ публично доступных базовых и инструктивных моделей и показываем, что соотношение хорошо отформатированных ответов к частичным и полным предложениям может служить эффективным критерием для различения этих двух классов моделей. Во-вторых, метрика может использоваться как критерий ранней остановки для настройки инструктивных моделей. Мы вычисляем IFS для контролируемой тонкой настройки (Supervised Fine-Tuning, SFT) моделей LLaMA с 7B и 13B параметрами, демонстрируя, что модели учатся следовать инструкциям относительно рано в процессе обучения, а дальнейшая тонкая настройка может привести к изменениям в семантике базовой модели. В качестве примера изменения семантики мы показываем объективность предсказаний модели, определяемую вспомогательной метрикой ObjecQA. Мы демонстрируем, что в данном конкретном случае изменения семантики наиболее выражены, когда IFS начинает выходить на плато. Мы надеемся, что разделение настройки инструктивных моделей на факторы IFS и семантики положит начало новому тренду в более контролируемой настройке инструктивных моделей и откроет возможности для проектирования минималистичных интерфейсов запросов к базовым моделям.

English

In this paper, we introduce the Instruction Following Score (IFS), a metric that detects language models' ability to follow instructions. The metric has a dual purpose. First, IFS can be used to distinguish between base and instruct models. We benchmark publicly available base and instruct models, and show that the ratio of well formatted responses to partial and full sentences can be an effective measure between those two model classes. Secondly, the metric can be used as an early stopping criteria for instruct tuning. We compute IFS for Supervised Fine-Tuning (SFT) of 7B and 13B LLaMA models, showing that models learn to follow instructions relatively early in the training process, and the further finetuning can result in changes in the underlying base model semantics. As an example of semantics change we show the objectivity of model predictions, as defined by an auxiliary metric ObjecQA. We show that in this particular case, semantic changes are the steepest when the IFS tends to plateau. We hope that decomposing instruct tuning into IFS and semantic factors starts a new trend in better controllable instruct tuning and opens possibilities for designing minimal instruct interfaces querying foundation models.