Évaluation des Données par Réseaux Neuronaux pour un Réglage Fin Efficace des Instructions

Data Valuation using Neural Networks for Efficient Instruction Fine-Tuning

February 14, 2025

Auteurs: Ishika Agarwal, Dilek Hakkani-Tür

cs.AI

Résumé

Les fonctions d'influence offrent des insights cruciaux sur l'entraînement des modèles, mais les méthodes existantes souffrent de coûts de calcul élevés et d'une généralisation limitée. En particulier, des travaux récents ont proposé diverses métriques et algorithmes pour calculer l'influence des données en utilisant des modèles de langage, qui ne s'adaptent pas bien aux grands modèles et jeux de données. Cela est dû aux passes avant et arrière coûteuses nécessaires pour le calcul, aux exigences de mémoire substantielles pour stocker les grands modèles, et à la mauvaise généralisation des estimations d'influence aux nouvelles données. Dans cet article, nous explorons l'utilisation de petits réseaux de neurones -- que nous appelons InfluenceNetwork -- pour estimer les valeurs d'influence, atteignant jusqu'à 99% de réduction des coûts. Notre évaluation démontre que les valeurs d'influence peuvent être estimées avec des modèles représentant seulement 0,0027% de la taille des modèles de langage complets (nous utilisons des versions de 7B et 8B). Nous appliquons notre algorithme d'estimation des valeurs d'influence (appelé NN-CIFT : Neural Networks for effiCient Instruction Fine-Tuning) à la tâche en aval de sélection de sous-ensembles pour le fine-tuning d'instructions générales. Dans notre étude, nous incluons quatre fonctions d'influence de pointe et montrons qu'il n'y a pas de compromis sur la performance entre NN-CIFT et les fonctions d'influence originales, malgré des accélérations significatives. Nous fournissons une analyse approfondie des hyperparamètres de NN-CIFT. Le code de notre méthode est disponible ici : https://github.com/agarwalishika/NN-CIFT.

English

Influence functions provide crucial insights into model training, but existing methods suffer from large computational costs and limited generalization. Particularly, recent works have proposed various metrics and algorithms to calculate the influence of data using language models, which do not scale well with large models and datasets. This is because of the expensive forward and backward passes required for computation, substantial memory requirements to store large models, and poor generalization of influence estimates to new data. In this paper, we explore the use of small neural networks -- which we refer to as the InfluenceNetwork -- to estimate influence values, achieving up to 99% cost reduction. Our evaluation demonstrates that influence values can be estimated with models just 0.0027% the size of full language models (we use 7B and 8B versions). We apply our algorithm of estimating influence values (called NN-CIFT: Neural Networks for effiCient Instruction Fine-Tuning) to the downstream task of subset selection for general instruction fine-tuning. In our study, we include four state-of-the-art influence functions and show no compromise in performance, despite large speedups, between NN-CIFT and the original influence functions. We provide an in-depth hyperparameter analyses of NN-CIFT. The code for our method can be found here: https://github.com/agarwalishika/NN-CIFT.