Exploitation des Instructions : Sélection de Données d'Instruction de Haute Qualité pour les Grands Modèles de Langage

Instruction Mining: High-Quality Instruction Data Selection for Large Language Models

July 12, 2023

Auteurs: Yihan Cao, Yanbin Kang, Lichao Sun

cs.AI

Résumé

Les grands modèles de langage subissent généralement deux étapes d'entraînement : le pré-entraînement et le réglage fin. Bien que le pré-entraînement à grande échelle confère au modèle de solides capacités à générer des réponses en langage naturel, ces modèles pré-entraînés peuvent encore échouer à comprendre les instructions humaines dans certains cas. Pour améliorer la capacité des modèles de langage à interpréter et à répondre aux instructions, le réglage fin sur instructions est apparu comme une méthode cruciale dans ce domaine. Des études récentes ont montré que les grands modèles de langage peuvent être réglés pour bien performer même avec une petite quantité de données de haute qualité pour le suivi d'instructions. Cependant, la sélection de jeux de données de haute qualité pour le réglage fin des modèles de langage manque encore de lignes directrices claires à suivre. Dans cet article, nous proposons InstructMining, une règle linéaire pour évaluer la qualité des données de suivi d'instructions. Nous formulons InstructMining en utilisant des indicateurs spécifiques en langage naturel. Pour étudier la relation entre la qualité des données et ces indicateurs, nous menons en outre des expériences approfondies de réglage fin. Les résultats des expériences sont ensuite appliqués à l'estimation des paramètres dans InstructMining. Pour approfondir l'analyse de ses performances, nous utilisons InstructMining pour sélectionner des données de haute qualité à partir de jeux de données inédits. Les résultats démontrent qu'InstructMining peut aider à sélectionner des échantillons relativement de haute qualité parmi divers jeux de données de suivi d'instructions. Par rapport aux modèles réglés sur des jeux de données non filtrés, les modèles réglés sur des jeux de données sélectionnés par InstructMining performent mieux dans 42,5 % des cas.

English

Large language models typically undergo two training stages, pretraining and finetuning. Despite that large-scale pretraining endows the model with strong capabilities to generate natural language responses, these pretrained models can still fail to understand human instructions at times. To enhance language models' ability of interpreting and responding to instructions, instruction finetuning has emerged as a critical method in this area. Recent studies found that large language models can be finetuned to perform well even with a small amount of high-quality instruction-following data. However, the selection of high-quality datasets for finetuning language models still lacks clear guidelines to follow. In this paper, we propose InstructMining, a linear rule for evaluating instruction-following data quality. We formulate InstructMining using specific natural language indicators. To investigate the relationship between data quality and these indicators, we further conduct extensive finetuning experiments. The experiment results are then applied to estimating parameters in InstructMining. To further investigate its performance, we use InstructMining to select high-quality data from unseen datasets. Results demonstrate that InstructMining can help select relatively high-quality samples from various instruction-following datasets. Compared to models finetuned on unfiltered datasets, models finetuned on InstructMining selected datasets perform better on 42.5% cases.