Оценка данных с использованием нейронных сетей для эффективной тонкой настройки инструкций

Data Valuation using Neural Networks for Efficient Instruction Fine-Tuning

February 14, 2025

Авторы: Ishika Agarwal, Dilek Hakkani-Tür

cs.AI

Аннотация

Функции влияния предоставляют важные инсайты в процесс обучения моделей, однако существующие методы страдают от высоких вычислительных затрат и ограниченной обобщаемости. В частности, в последних работах предложены различные метрики и алгоритмы для расчета влияния данных с использованием языковых моделей, которые плохо масштабируются на большие модели и наборы данных. Это связано с дорогостоящими прямыми и обратными проходами, необходимыми для вычислений, значительными требованиями к памяти для хранения крупных моделей и слабой обобщаемостью оценок влияния на новые данные. В данной работе мы исследуем использование небольших нейронных сетей — которые мы называем InfluenceNetwork — для оценки значений влияния, достигая сокращения затрат до 99%. Наши оценки показывают, что значения влияния могут быть оценены с помощью моделей, размер которых составляет всего 0,0027% от полных языковых моделей (мы используем версии на 7B и 8B параметров). Мы применяем наш алгоритм оценки значений влияния (названный NN-CIFT: Neural Networks for effiCient Instruction Fine-Tuning) к задаче выбора подмножества данных для тонкой настройки на общих инструкциях. В нашем исследовании мы включаем четыре современных функции влияния и показываем, что NN-CIFT не уступает по производительности оригинальным функциям влияния, несмотря на значительное ускорение. Мы предоставляем детальный анализ гиперпараметров NN-CIFT. Код нашего метода доступен по ссылке: https://github.com/agarwalishika/NN-CIFT.

English

Influence functions provide crucial insights into model training, but existing methods suffer from large computational costs and limited generalization. Particularly, recent works have proposed various metrics and algorithms to calculate the influence of data using language models, which do not scale well with large models and datasets. This is because of the expensive forward and backward passes required for computation, substantial memory requirements to store large models, and poor generalization of influence estimates to new data. In this paper, we explore the use of small neural networks -- which we refer to as the InfluenceNetwork -- to estimate influence values, achieving up to 99% cost reduction. Our evaluation demonstrates that influence values can be estimated with models just 0.0027% the size of full language models (we use 7B and 8B versions). We apply our algorithm of estimating influence values (called NN-CIFT: Neural Networks for effiCient Instruction Fine-Tuning) to the downstream task of subset selection for general instruction fine-tuning. In our study, we include four state-of-the-art influence functions and show no compromise in performance, despite large speedups, between NN-CIFT and the original influence functions. We provide an in-depth hyperparameter analyses of NN-CIFT. The code for our method can be found here: https://github.com/agarwalishika/NN-CIFT.