Instructie Mining: Selectie van hoogwaardige instructiedata voor grote taalmodellen

Instruction Mining: High-Quality Instruction Data Selection for Large Language Models

July 12, 2023

Auteurs: Yihan Cao, Yanbin Kang, Lichao Sun

cs.AI

Samenvatting

Grote taalmodelen ondergaan doorgaans twee trainingsfasen: voorafgaande training en finetuning. Hoewel grootschalige voorafgaande training het model sterke mogelijkheden geeft om natuurlijke taalreacties te genereren, kunnen deze vooraf getrainde modellen soms nog steeds falen in het begrijpen van menselijke instructies. Om het vermogen van taalmodelen om instructies te interpreteren en erop te reageren te verbeteren, is instructiefinetuning naar voren gekomen als een cruciale methode op dit gebied. Recente studies hebben aangetoond dat grote taalmodelen kunnen worden gefinetuned om goed te presteren, zelfs met een kleine hoeveelheid hoogwaardige instructievolgende data. De selectie van hoogwaardige datasets voor het finetunen van taalmodelen ontbeert echter nog duidelijke richtlijnen. In dit artikel stellen we InstructMining voor, een lineaire regel voor het evalueren van de kwaliteit van instructievolgende data. We formuleren InstructMining met behulp van specifieke natuurlijke taalindicatoren. Om de relatie tussen data kwaliteit en deze indicatoren te onderzoeken, voeren we uitgebreide finetuningexperimenten uit. De experimentresultaten worden vervolgens gebruikt om parameters in InstructMining te schatten. Om de prestaties verder te onderzoeken, gebruiken we InstructMining om hoogwaardige data te selecteren uit onbekende datasets. Resultaten tonen aan dat InstructMining kan helpen relatief hoogwaardige samples te selecteren uit verschillende instructievolgende datasets. Vergeleken met modellen die zijn gefinetuned op ongefilterde datasets, presteren modellen die zijn gefinetuned op door InstructMining geselecteerde datasets beter in 42,5% van de gevallen.

English

Large language models typically undergo two training stages, pretraining and finetuning. Despite that large-scale pretraining endows the model with strong capabilities to generate natural language responses, these pretrained models can still fail to understand human instructions at times. To enhance language models' ability of interpreting and responding to instructions, instruction finetuning has emerged as a critical method in this area. Recent studies found that large language models can be finetuned to perform well even with a small amount of high-quality instruction-following data. However, the selection of high-quality datasets for finetuning language models still lacks clear guidelines to follow. In this paper, we propose InstructMining, a linear rule for evaluating instruction-following data quality. We formulate InstructMining using specific natural language indicators. To investigate the relationship between data quality and these indicators, we further conduct extensive finetuning experiments. The experiment results are then applied to estimating parameters in InstructMining. To further investigate its performance, we use InstructMining to select high-quality data from unseen datasets. Results demonstrate that InstructMining can help select relatively high-quality samples from various instruction-following datasets. Compared to models finetuned on unfiltered datasets, models finetuned on InstructMining selected datasets perform better on 42.5% cases.