Эффективный отбор данных в масштабе с использованием дистилляции влияния

Efficient Data Selection at Scale via Influence Distillation

May 25, 2025

Авторы: Mahdi Nikdan, Vincent Cohen-Addad, Dan Alistarh, Vahab Mirrokni

cs.AI

Аннотация

Эффективный отбор данных имеет решающее значение для эффективного обучения современных больших языковых моделей (LLM). В данной статье представлен Influence Distillation — новый, математически обоснованный фреймворк для отбора данных, который использует информацию второго порядка для оптимального взвешивания обучающих выборок. Путем "дистилляции" влияния каждой выборки на целевую распределение наш метод присваивает специфичные для модели веса, которые используются для отбора данных для тонкой настройки LLM, направляя её к высокой производительности в целевом домене. Мы выводим эти оптимальные веса как для градиентного спуска, так и для оптимизатора Adam. Для обеспечения масштабируемости и снижения вычислительных затрат мы предлагаем аппроксимацию на основе "ориентиров": влияние точно вычисляется для небольшого подмножества "ориентирных" выборок, а затем эффективно распространяется на все остальные выборки для определения их весов. Мы проверяем Influence Distillation, применяя его для настройки инструкций на наборе данных Tulu V2, ориентируясь на ряд задач, включая GSM8k, SQuAD и MMLU, для нескольких моделей из семейств Llama и Qwen. Эксперименты показывают, что Influence Distillation соответствует или превосходит современные методы по производительности, достигая при этом до 3.5 раз более быстрого отбора.

English

Effective data selection is critical for efficient training of modern Large Language Models (LLMs). This paper introduces Influence Distillation, a novel, mathematically-justified framework for data selection that employs second-order information to optimally weight training samples. By distilling each sample's influence on a target distribution, our method assigns model-specific weights that are used to select training data for LLM fine-tuning, guiding it toward strong performance on the target domain. We derive these optimal weights for both Gradient Descent and Adam optimizers. To ensure scalability and reduce computational cost, we propose a landmark-based approximation: influence is precisely computed for a small subset of "landmark" samples and then efficiently propagated to all other samples to determine their weights. We validate Influence Distillation by applying it to instruction tuning on the Tulu V2 dataset, targeting a range of tasks including GSM8k, SQuAD, and MMLU, across several models from the Llama and Qwen families. Experiments show that Influence Distillation matches or outperforms state-of-the-art performance while achieving up to 3.5times faster selection.