Mining delle Istruzioni: Selezione di Dati di Istruzione di Alta Qualità per Modelli Linguistici di Grande Dimensione

Instruction Mining: High-Quality Instruction Data Selection for Large Language Models

July 12, 2023

Autori: Yihan Cao, Yanbin Kang, Lichao Sun

cs.AI

Abstract

I grandi modelli linguistici tipicamente subiscono due fasi di addestramento: il pretraining e il finetuning. Nonostante il pretraining su larga scala conferisca al modello forti capacità di generare risposte in linguaggio naturale, questi modelli pretrainati possono comunque fallire nel comprendere le istruzioni umane in alcuni casi. Per migliorare la capacità dei modelli linguistici di interpretare e rispondere alle istruzioni, il finetuning su istruzioni è emerso come un metodo critico in questo ambito. Studi recenti hanno scoperto che i grandi modelli linguistici possono essere sottoposti a finetuning per ottenere buone prestazioni anche con una piccola quantità di dati di alta qualità per il seguire istruzioni. Tuttavia, la selezione di dataset di alta qualità per il finetuning dei modelli linguistici manca ancora di linee guida chiare da seguire. In questo articolo, proponiamo InstructMining, una regola lineare per valutare la qualità dei dati per il seguire istruzioni. Formuliamo InstructMining utilizzando specifici indicatori di linguaggio naturale. Per investigare la relazione tra la qualità dei dati e questi indicatori, conduciamo ulteriori esperimenti di finetuning su larga scala. I risultati degli esperimenti vengono poi applicati per stimare i parametri in InstructMining. Per investigare ulteriormente le sue prestazioni, utilizziamo InstructMining per selezionare dati di alta qualità da dataset non visti. I risultati dimostrano che InstructMining può aiutare a selezionare campioni relativamente di alta qualità da vari dataset per il seguire istruzioni. Rispetto ai modelli sottoposti a finetuning su dataset non filtrati, i modelli sottoposti a finetuning su dataset selezionati da InstructMining performano meglio nel 42,5% dei casi.

English

Large language models typically undergo two training stages, pretraining and finetuning. Despite that large-scale pretraining endows the model with strong capabilities to generate natural language responses, these pretrained models can still fail to understand human instructions at times. To enhance language models' ability of interpreting and responding to instructions, instruction finetuning has emerged as a critical method in this area. Recent studies found that large language models can be finetuned to perform well even with a small amount of high-quality instruction-following data. However, the selection of high-quality datasets for finetuning language models still lacks clear guidelines to follow. In this paper, we propose InstructMining, a linear rule for evaluating instruction-following data quality. We formulate InstructMining using specific natural language indicators. To investigate the relationship between data quality and these indicators, we further conduct extensive finetuning experiments. The experiment results are then applied to estimating parameters in InstructMining. To further investigate its performance, we use InstructMining to select high-quality data from unseen datasets. Results demonstrate that InstructMining can help select relatively high-quality samples from various instruction-following datasets. Compared to models finetuned on unfiltered datasets, models finetuned on InstructMining selected datasets perform better on 42.5% cases.