Mineração de Instruções: Seleção de Dados de Instrução de Alta Qualidade para Modelos de Linguagem de Grande Escala

Instruction Mining: High-Quality Instruction Data Selection for Large Language Models

July 12, 2023

Autores: Yihan Cao, Yanbin Kang, Lichao Sun

cs.AI

Resumo

Modelos de linguagem de grande escala geralmente passam por dois estágios de treinamento: pré-treinamento e ajuste fino. Apesar de o pré-treinamento em larga escala dotar o modelo de fortes capacidades para gerar respostas em linguagem natural, esses modelos pré-treinados ainda podem falhar em compreender instruções humanas em determinados momentos. Para aprimorar a capacidade dos modelos de linguagem de interpretar e responder a instruções, o ajuste fino com instruções emergiu como um método crítico nessa área. Estudos recentes descobriram que modelos de linguagem de grande escala podem ser ajustados para desempenhar bem mesmo com uma pequena quantidade de dados de alta qualidade de seguimento de instruções. No entanto, a seleção de conjuntos de dados de alta qualidade para ajustar modelos de linguagem ainda carece de diretrizes claras a seguir. Neste artigo, propomos o InstructMining, uma regra linear para avaliar a qualidade dos dados de seguimento de instruções. Formulamos o InstructMining usando indicadores específicos de linguagem natural. Para investigar a relação entre a qualidade dos dados e esses indicadores, realizamos extensos experimentos de ajuste fino. Os resultados dos experimentos são então aplicados para estimar parâmetros no InstructMining. Para investigar ainda mais seu desempenho, usamos o InstructMining para selecionar dados de alta qualidade de conjuntos de dados não vistos. Os resultados demonstram que o InstructMining pode ajudar a selecionar amostras relativamente de alta qualidade de vários conjuntos de dados de seguimento de instruções. Comparados aos modelos ajustados em conjuntos de dados não filtrados, os modelos ajustados em conjuntos de dados selecionados pelo InstructMining apresentam melhor desempenho em 42,5% dos casos.

English

Large language models typically undergo two training stages, pretraining and finetuning. Despite that large-scale pretraining endows the model with strong capabilities to generate natural language responses, these pretrained models can still fail to understand human instructions at times. To enhance language models' ability of interpreting and responding to instructions, instruction finetuning has emerged as a critical method in this area. Recent studies found that large language models can be finetuned to perform well even with a small amount of high-quality instruction-following data. However, the selection of high-quality datasets for finetuning language models still lacks clear guidelines to follow. In this paper, we propose InstructMining, a linear rule for evaluating instruction-following data quality. We formulate InstructMining using specific natural language indicators. To investigate the relationship between data quality and these indicators, we further conduct extensive finetuning experiments. The experiment results are then applied to estimating parameters in InstructMining. To further investigate its performance, we use InstructMining to select high-quality data from unseen datasets. Results demonstrate that InstructMining can help select relatively high-quality samples from various instruction-following datasets. Compared to models finetuned on unfiltered datasets, models finetuned on InstructMining selected datasets perform better on 42.5% cases.