Gegevenswaardering met Neurale Netwerken voor Efficiënte Instructie Fijnafstemming

Data Valuation using Neural Networks for Efficient Instruction Fine-Tuning

February 14, 2025

Auteurs: Ishika Agarwal, Dilek Hakkani-Tür

cs.AI

Samenvatting

Influence-functies bieden cruciale inzichten in modeltraining, maar bestaande methoden kampen met hoge rekenkosten en beperkte generalisatie. Met name recente werken hebben diverse metrieken en algoritmen voorgesteld om de invloed van data te berekenen met behulp van taalmodellen, die niet goed schalen met grote modellen en datasets. Dit komt door de dure voorwaartse en achterwaartse passes die nodig zijn voor de berekening, de aanzienlijke geheugenvereisten voor het opslaan van grote modellen, en de slechte generalisatie van invloedschattingen naar nieuwe data. In dit artikel onderzoeken we het gebruik van kleine neurale netwerken – die we de InfluenceNetwork noemen – om invloedswaarden te schatten, wat tot 99% kostenreductie oplevert. Onze evaluatie toont aan dat invloedswaarden kunnen worden geschat met modellen die slechts 0,0027% van de grootte van volledige taalmodellen beslaan (we gebruiken 7B en 8B versies). We passen ons algoritme voor het schatten van invloedswaarden (genaamd NN-CIFT: Neural Networks for effiCient Instruction Fine-Tuning) toe op de downstreamtaak van subsetselectie voor algemene instructie-finetuning. In onze studie nemen we vier state-of-the-art influence-functies op en tonen we aan dat er geen compromis in prestaties is, ondanks grote snelheidswinsten, tussen NN-CIFT en de originele influence-functies. We bieden een diepgaande hyperparameteranalyse van NN-CIFT. De code voor onze methode is hier te vinden: https://github.com/agarwalishika/NN-CIFT.

English

Influence functions provide crucial insights into model training, but existing methods suffer from large computational costs and limited generalization. Particularly, recent works have proposed various metrics and algorithms to calculate the influence of data using language models, which do not scale well with large models and datasets. This is because of the expensive forward and backward passes required for computation, substantial memory requirements to store large models, and poor generalization of influence estimates to new data. In this paper, we explore the use of small neural networks -- which we refer to as the InfluenceNetwork -- to estimate influence values, achieving up to 99% cost reduction. Our evaluation demonstrates that influence values can be estimated with models just 0.0027% the size of full language models (we use 7B and 8B versions). We apply our algorithm of estimating influence values (called NN-CIFT: Neural Networks for effiCient Instruction Fine-Tuning) to the downstream task of subset selection for general instruction fine-tuning. In our study, we include four state-of-the-art influence functions and show no compromise in performance, despite large speedups, between NN-CIFT and the original influence functions. We provide an in-depth hyperparameter analyses of NN-CIFT. The code for our method can be found here: https://github.com/agarwalishika/NN-CIFT.