DELIFT: Настройка языковой модели с помощью эффективной обработки данных.

DELIFT: Data Efficient Language model Instruction Fine Tuning

November 7, 2024

Авторы: Ishika Agarwal, Krishna Killamsetty, Lucian Popa, Marina Danilevksy

cs.AI

Аннотация

Для улучшения производительности больших языковых моделей (LLM) на конкретных задачах существенно проводить тонкую настройку, но это часто требует больших ресурсов из-за избыточных или неинформативных данных. Для решения этой проблемы мы представляем DELIFT (Data Efficient Language model Instruction Fine-Tuning) - новый алгоритм, который систематически оптимизирует выбор данных на трех ключевых этапах тонкой настройки: (1) настройка инструкций, (2) задачеспецифическая тонкая настройка (например, рассуждения, вопросно-ответные системы) и (3) непрерывная тонкая настройка (например, внедрение новых версий данных). В отличие от существующих методов, сосредотачивающихся на оптимизации одного этапа или полагающихся на вычислительно затратные расчеты градиента, DELIFT эффективно работает на всех этапах. Основой нашего подхода является метрика парного полезного действия, которая количественно оценивает, насколько выгоден образец данных для улучшения ответов модели на другие образцы, эффективно измеряя информационную ценность относительно текущих возможностей модели. Используя различные субмодулярные функции, применяемые к этой метрике, DELIFT выбирает разнообразные и оптимальные подмножества, которые полезны на всех этапах тонкой настройки. Эксперименты по различным задачам и масштабам моделей показывают, что DELIFT может сократить размер данных для тонкой настройки до 70%, не ухудшая производительность, обеспечивая значительные вычислительные экономии и превосходя существующие методы как по эффективности, так и по результативности.

English

Fine-tuning large language models (LLMs) is essential for enhancing their performance on specific tasks but is often resource-intensive due to redundant or uninformative data. To address this inefficiency, we introduce DELIFT (Data Efficient Language model Instruction Fine-Tuning), a novel algorithm that systematically optimizes data selection across the three key stages of fine-tuning: (1) instruction tuning, (2) task-specific fine-tuning (e.g., reasoning, question-answering), and (3) continual fine-tuning (e.g., incorporating new data versions). Unlike existing methods that focus on single-stage optimization or rely on computationally intensive gradient calculations, DELIFT operates efficiently across all stages. Central to our approach is a pairwise utility metric that quantifies how beneficial a data sample is for improving the model's responses to other samples, effectively measuring the informational value relative to the model's current capabilities. By leveraging different submodular functions applied to this metric, DELIFT selects diverse and optimal subsets that are useful across all stages of fine-tuning. Experiments across various tasks and model scales demonstrate that DELIFT can reduce the fine-tuning data size by up to 70% without compromising performance, offering significant computational savings and outperforming existing methods in both efficiency and efficacy.