Ускорение оптимизации прямых предпочтений с общими префиксами

Accelerating Direct Preference Optimization with Prefix Sharing

October 27, 2024

Авторы: Franklin Wang, Sumanth Hegde

cs.AI

Аннотация

Алгоритмы оптимизации парных предпочтений в офлайн-режиме стали популярным подходом для настройки на данных предпочтений, превосходя традиционную надзорную настройку в различных задачах. Однако традиционные реализации часто включают избыточные вычисления, особенно для задач с длинными общими подсказками. Мы представляем технику совместного использования префиксов для настройки предпочтений, новаторский метод, который обрабатывает выбранные и отклоненные ответы как одну последовательность с общим префиксом. Для предотвращения перекрестного загрязнения ответов мы используем пользовательскую блочно-разреженную маску внимания. Наш метод достигает увеличения производительности обучения на популярных наборах данных DPO в 1,1-1,5 раза, без влияния на сходимость. При совмещении с упаковкой последовательностей мы наблюдаем последовательные ускорения в 1,3-1,6 раза, что положительно сказывается даже на наборах данных с более короткими последовательностями. Хотя мы сосредотачиваемся на прямой оптимизации предпочтений (DPO), наш подход применим и к другим методам настройки парных предпочтений. Улучшая вычислительную эффективность, наша работа способствует сделать настройку на основе предпочтений более доступной для широкого круга приложений и размеров моделей. Мы предоставляем наш код в открытом доступе по адресу https://github.com/frankxwang/dpo-prefix-sharing.

English

Offline paired preference optimization algorithms have become a popular approach for fine-tuning on preference data, outperforming traditional supervised fine-tuning in various tasks. However, traditional implementations often involve redundant computations, especially for tasks with long shared prompts. We introduce prefix sharing for preference tuning, a novel technique that processes chosen and rejected responses as one sequence with a shared prefix. To prevent cross-response contamination, we use a custom block-sparse attention mask. Our method achieves 1.1-1.5times improvement in training throughput on popular DPO datasets, without any effect on convergence. When combined with sequence packing, we observe consistent 1.3-1.6times speedups, benefiting even datasets with smaller sequence lengths. While we focus on Direct Preference Optimization (DPO), our approach is applicable to other paired preference tuning methods. By enhancing computational efficiency, our work contributes to making preference-based fine-tuning more accessible for a wider range of applications and model sizes. We open-source our code at https://github.com/frankxwang/dpo-prefix-sharing.