Valutazione dei Dati mediante Reti Neurali per un Affinamento Efficiente delle Istruzioni

Data Valuation using Neural Networks for Efficient Instruction Fine-Tuning

February 14, 2025

Autori: Ishika Agarwal, Dilek Hakkani-Tür

cs.AI

Abstract

Le funzioni di influenza forniscono intuizioni cruciali sull'addestramento dei modelli, ma i metodi esistenti soffrono di elevati costi computazionali e di una limitata generalizzazione. In particolare, lavori recenti hanno proposto varie metriche e algoritmi per calcolare l'influenza dei dati utilizzando modelli linguistici, che non si adattano bene a modelli e dataset di grandi dimensioni. Ciò è dovuto ai costosi passaggi in avanti e indietro richiesti per il calcolo, ai notevoli requisiti di memoria per memorizzare modelli di grandi dimensioni e alla scarsa generalizzazione delle stime di influenza su nuovi dati. In questo articolo, esploriamo l'uso di piccole reti neurali -- che chiamiamo InfluenceNetwork -- per stimare i valori di influenza, ottenendo una riduzione dei costi fino al 99%. La nostra valutazione dimostra che i valori di influenza possono essere stimati con modelli di dimensioni pari solo allo 0,0027% rispetto ai modelli linguistici completi (utilizziamo versioni da 7B e 8B). Applichiamo il nostro algoritmo per stimare i valori di influenza (chiamato NN-CIFT: Neural Networks for effiCient Instruction Fine-Tuning) al compito downstream di selezione di sottoinsiemi per il fine-tuning generale delle istruzioni. Nel nostro studio, includiamo quattro funzioni di influenza all'avanguardia e mostriamo che non vi è alcun compromesso nelle prestazioni, nonostante i notevoli miglioramenti in termini di velocità, tra NN-CIFT e le funzioni di influenza originali. Forniamo un'analisi approfondita degli iperparametri di NN-CIFT. Il codice per il nostro metodo è disponibile qui: https://github.com/agarwalishika/NN-CIFT.

English

Influence functions provide crucial insights into model training, but existing methods suffer from large computational costs and limited generalization. Particularly, recent works have proposed various metrics and algorithms to calculate the influence of data using language models, which do not scale well with large models and datasets. This is because of the expensive forward and backward passes required for computation, substantial memory requirements to store large models, and poor generalization of influence estimates to new data. In this paper, we explore the use of small neural networks -- which we refer to as the InfluenceNetwork -- to estimate influence values, achieving up to 99% cost reduction. Our evaluation demonstrates that influence values can be estimated with models just 0.0027% the size of full language models (we use 7B and 8B versions). We apply our algorithm of estimating influence values (called NN-CIFT: Neural Networks for effiCient Instruction Fine-Tuning) to the downstream task of subset selection for general instruction fine-tuning. In our study, we include four state-of-the-art influence functions and show no compromise in performance, despite large speedups, between NN-CIFT and the original influence functions. We provide an in-depth hyperparameter analyses of NN-CIFT. The code for our method can be found here: https://github.com/agarwalishika/NN-CIFT.