Diventare auto-istruttivi: introduzione di criteri di early stopping per un tuning minimo delle istruzioni

Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning

July 5, 2023

Autori: Waseem AlShikh, Manhal Daaboul, Kirk Goddard, Brock Imel, Kiran Kamble, Parikshith Kulkarni, Melisa Russak

cs.AI

Abstract

In questo articolo, introduciamo l'Instruction Following Score (IFS), una metrica che rileva la capacità dei modelli linguistici di seguire le istruzioni. La metrica ha un duplice scopo. In primo luogo, l'IFS può essere utilizzato per distinguere tra modelli base e modelli istruiti. Eseguiamo un benchmark su modelli base e istruiti disponibili pubblicamente e dimostriamo che il rapporto tra risposte ben formattate e frasi parziali o complete può essere una misura efficace per distinguere queste due classi di modelli. In secondo luogo, la metrica può essere utilizzata come criterio di arresto anticipato per il tuning delle istruzioni. Calcoliamo l'IFS per il Fine-Tuning Supervisionato (SFT) di modelli LLaMA da 7B e 13B, mostrando che i modelli imparano a seguire le istruzioni relativamente presto nel processo di addestramento, e che un ulteriore fine-tuning può portare a cambiamenti nella semantica del modello base sottostante. Come esempio di cambiamento semantico, mostriamo l'oggettività delle previsioni del modello, definita da una metrica ausiliaria chiamata ObjecQA. Dimostriamo che, in questo caso particolare, i cambiamenti semantici sono più marcati quando l'IFS tende a stabilizzarsi. Speriamo che la scomposizione del tuning delle istruzioni in fattori IFS e semantici avvii una nuova tendenza verso un tuning delle istruzioni meglio controllabile e apra possibilità per la progettazione di interfacce di istruzione minimali per interrogare i modelli di base.

English

In this paper, we introduce the Instruction Following Score (IFS), a metric that detects language models' ability to follow instructions. The metric has a dual purpose. First, IFS can be used to distinguish between base and instruct models. We benchmark publicly available base and instruct models, and show that the ratio of well formatted responses to partial and full sentences can be an effective measure between those two model classes. Secondly, the metric can be used as an early stopping criteria for instruct tuning. We compute IFS for Supervised Fine-Tuning (SFT) of 7B and 13B LLaMA models, showing that models learn to follow instructions relatively early in the training process, and the further finetuning can result in changes in the underlying base model semantics. As an example of semantics change we show the objectivity of model predictions, as defined by an auxiliary metric ObjecQA. We show that in this particular case, semantic changes are the steepest when the IFS tends to plateau. We hope that decomposing instruct tuning into IFS and semantic factors starts a new trend in better controllable instruct tuning and opens possibilities for designing minimal instruct interfaces querying foundation models.