Convertirse en auto-instructivo: introduciendo criterios de parada temprana para un ajuste mínimo de instrucciones

Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning

July 5, 2023

Autores: Waseem AlShikh, Manhal Daaboul, Kirk Goddard, Brock Imel, Kiran Kamble, Parikshith Kulkarni, Melisa Russak

cs.AI

Resumen

En este artículo, presentamos la Puntuación de Seguimiento de Instrucciones (Instruction Following Score, IFS), una métrica que detecta la capacidad de los modelos de lenguaje para seguir instrucciones. La métrica tiene un doble propósito. En primer lugar, el IFS puede utilizarse para distinguir entre modelos base y modelos de instrucción. Evaluamos modelos base y de instrucción disponibles públicamente, y demostramos que la proporción de respuestas bien formateadas frente a frases parciales y completas puede ser una medida efectiva para diferenciar estas dos clases de modelos. En segundo lugar, la métrica puede utilizarse como criterio de parada temprana para el ajuste de instrucciones. Calculamos el IFS para el Ajuste Supervisado (Supervised Fine-Tuning, SFT) de modelos LLaMA de 7B y 13B, mostrando que los modelos aprenden a seguir instrucciones relativamente pronto en el proceso de entrenamiento, y que un ajuste adicional puede resultar en cambios en la semántica del modelo base subyacente. Como ejemplo de cambio semántico, mostramos la objetividad de las predicciones del modelo, definida por una métrica auxiliar llamada ObjecQA. Demostramos que, en este caso particular, los cambios semánticos son más pronunciados cuando el IFS tiende a estabilizarse. Esperamos que la descomposición del ajuste de instrucciones en factores de IFS y semántica inicie una nueva tendencia hacia un ajuste de instrucciones más controlable y abra posibilidades para diseñar interfaces de instrucción mínimas que consulten modelos fundacionales.

English

In this paper, we introduce the Instruction Following Score (IFS), a metric that detects language models' ability to follow instructions. The metric has a dual purpose. First, IFS can be used to distinguish between base and instruct models. We benchmark publicly available base and instruct models, and show that the ratio of well formatted responses to partial and full sentences can be an effective measure between those two model classes. Secondly, the metric can be used as an early stopping criteria for instruct tuning. We compute IFS for Supervised Fine-Tuning (SFT) of 7B and 13B LLaMA models, showing that models learn to follow instructions relatively early in the training process, and the further finetuning can result in changes in the underlying base model semantics. As an example of semantics change we show the objectivity of model predictions, as defined by an auxiliary metric ObjecQA. We show that in this particular case, semantic changes are the steepest when the IFS tends to plateau. We hope that decomposing instruct tuning into IFS and semantic factors starts a new trend in better controllable instruct tuning and opens possibilities for designing minimal instruct interfaces querying foundation models.