Datenbewertung mittels neuronaler Netze für effizientes Instruction Fine-Tuning

Data Valuation using Neural Networks for Efficient Instruction Fine-Tuning

February 14, 2025

Autoren: Ishika Agarwal, Dilek Hakkani-Tür

cs.AI

Zusammenfassung

Einflussfunktionen liefern entscheidende Einblicke in das Modelltraining, doch bestehende Methoden leiden unter hohen Rechenkosten und begrenzter Generalisierungsfähigkeit. Insbesondere haben aktuelle Arbeiten verschiedene Metriken und Algorithmen vorgeschlagen, um den Einfluss von Daten mithilfe von Sprachmodellen zu berechnen, die jedoch nicht gut mit großen Modellen und Datensätzen skalieren. Dies liegt an den teuren Vorwärts- und Rückwärtsdurchläufen, die für die Berechnung erforderlich sind, dem erheblichen Speicherbedarf zur Speicherung großer Modelle und der schlechten Generalisierung von Einflussschätzungen auf neue Daten. In diesem Artikel untersuchen wir die Verwendung kleiner neuronaler Netze – die wir als InfluenceNetwork bezeichnen – zur Schätzung von Einflusswerten, wodurch eine Kostenreduktion von bis zu 99 % erreicht wird. Unsere Auswertung zeigt, dass Einflusswerte mit Modellen geschätzt werden können, die nur 0,0027 % der Größe vollständiger Sprachmodelle betragen (wir verwenden Versionen mit 7B und 8B Parametern). Wir wenden unseren Algorithmus zur Schätzung von Einflusswerten (genannt NN-CIFT: Neural Networks for effiCient Instruction Fine-Tuning) auf die nachgelagerte Aufgabe der Teilmengenauswahl für das allgemeine Instruktions-Fine-Tuning an. In unserer Studie beziehen wir vier state-of-the-art Einflussfunktionen ein und zeigen, dass es trotz erheblicher Geschwindigkeitssteigerungen keine Kompromisse in der Leistung zwischen NN-CIFT und den ursprünglichen Einflussfunktionen gibt. Wir bieten eine detaillierte Hyperparameteranalyse von NN-CIFT. Der Code für unsere Methode ist hier verfügbar: https://github.com/agarwalishika/NN-CIFT.

English

Influence functions provide crucial insights into model training, but existing methods suffer from large computational costs and limited generalization. Particularly, recent works have proposed various metrics and algorithms to calculate the influence of data using language models, which do not scale well with large models and datasets. This is because of the expensive forward and backward passes required for computation, substantial memory requirements to store large models, and poor generalization of influence estimates to new data. In this paper, we explore the use of small neural networks -- which we refer to as the InfluenceNetwork -- to estimate influence values, achieving up to 99% cost reduction. Our evaluation demonstrates that influence values can be estimated with models just 0.0027% the size of full language models (we use 7B and 8B versions). We apply our algorithm of estimating influence values (called NN-CIFT: Neural Networks for effiCient Instruction Fine-Tuning) to the downstream task of subset selection for general instruction fine-tuning. In our study, we include four state-of-the-art influence functions and show no compromise in performance, despite large speedups, between NN-CIFT and the original influence functions. We provide an in-depth hyperparameter analyses of NN-CIFT. The code for our method can be found here: https://github.com/agarwalishika/NN-CIFT.