Tornando-se autoinstruível: introduzindo critérios de parada antecipada para ajuste mínimo de instrução

Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning

July 5, 2023

Autores: Waseem AlShikh, Manhal Daaboul, Kirk Goddard, Brock Imel, Kiran Kamble, Parikshith Kulkarni, Melisa Russak

cs.AI

Resumo

Neste artigo, introduzimos o Instruction Following Score (IFS), uma métrica que detecta a capacidade dos modelos de linguagem em seguir instruções. A métrica tem um duplo propósito. Primeiro, o IFS pode ser usado para distinguir entre modelos base e modelos de instrução. Avaliamos modelos base e de instrução disponíveis publicamente e mostramos que a proporção de respostas bem formatadas para frases parciais e completas pode ser uma medida eficaz entre essas duas classes de modelos. Em segundo lugar, a métrica pode ser usada como critério de parada antecipada para o ajuste fino de instruções. Calculamos o IFS para o Ajuste Fino Supervisionado (SFT) de modelos LLaMA de 7B e 13B, mostrando que os modelos aprendem a seguir instruções relativamente cedo no processo de treinamento, e que o ajuste fino adicional pode resultar em mudanças na semântica do modelo base subjacente. Como exemplo de mudança semântica, mostramos a objetividade das previsões do modelo, conforme definido por uma métrica auxiliar, o ObjecQA. Mostramos que, neste caso particular, as mudanças semânticas são mais acentuadas quando o IFS tende a estabilizar. Esperamos que a decomposição do ajuste fino de instruções em fatores de IFS e semântica inicie uma nova tendência em ajustes finos de instrução mais controláveis e abra possibilidades para a criação de interfaces mínimas de instrução para consultar modelos fundamentais.

English

In this paper, we introduce the Instruction Following Score (IFS), a metric that detects language models' ability to follow instructions. The metric has a dual purpose. First, IFS can be used to distinguish between base and instruct models. We benchmark publicly available base and instruct models, and show that the ratio of well formatted responses to partial and full sentences can be an effective measure between those two model classes. Secondly, the metric can be used as an early stopping criteria for instruct tuning. We compute IFS for Supervised Fine-Tuning (SFT) of 7B and 13B LLaMA models, showing that models learn to follow instructions relatively early in the training process, and the further finetuning can result in changes in the underlying base model semantics. As an example of semantics change we show the objectivity of model predictions, as defined by an auxiliary metric ObjecQA. We show that in this particular case, semantic changes are the steepest when the IFS tends to plateau. We hope that decomposing instruct tuning into IFS and semantic factors starts a new trend in better controllable instruct tuning and opens possibilities for designing minimal instruct interfaces querying foundation models.