MA-RLHF: Обучение с подкреплением на основе обратной связи от человека с макро-действиями

MA-RLHF: Reinforcement Learning from Human Feedback with Macro Actions

October 3, 2024

Авторы: Yekun Chai, Haoran Sun, Huang Fang, Shuohuan Wang, Yu Sun, Hua Wu

cs.AI

Аннотация

Обучение с подкреплением на основе обратной связи от человека (RLHF) продемонстрировало эффективность в выравнивании больших языковых моделей (LLM) с предпочтениями человека. Однако на уровне токенов RLHF сталкивается с проблемой присвоения заслуг на протяжении длинных последовательностей, где отсроченные вознаграждения затрудняют модели определить, какие действия привели к успешным результатам. Это затрудняет эффективность обучения и замедляет сходимость. В данной статье мы предлагаем MA-RLHF, простую, но эффективную структуру RLHF, которая включает макро-действия - последовательности токенов или более высокоуровневые языковые конструкции - в процесс обучения. Работая на этом более высоком уровне абстракции, наш подход уменьшает временное расстояние между действиями и вознаграждениями, облегчая более быстрое и точное присвоение заслуг. Это приводит к более стабильным оценкам градиента политики и улучшает эффективность обучения в каждом эпизоде, не увеличивая вычислительной сложности во время обучения или вывода. Мы проверяем наш подход через обширные эксперименты на различных размерах моделей и задачах, включая резюмирование текста, генерацию диалогов, вопросно-ответные системы и синтез программ. Наш метод достигает существенного улучшения производительности по сравнению с обычным RLHF, с приростом производительности до 30% в резюмировании текста и генерации кода, 18% в диалогах и 8% в задачах вопросно-ответной системы. Заметно, что наш подход достигает паритета с обычным RLHF в 1,7-2 раза быстрее в терминах времени обучения и продолжает превосходить его с дальнейшим обучением. Мы сделаем наш код и данные общедоступными по адресу https://github.com/ernie-research/MA-RLHF.

English

Reinforcement learning from human feedback (RLHF) has demonstrated effectiveness in aligning large language models (LLMs) with human preferences. However, token-level RLHF suffers from the credit assignment problem over long sequences, where delayed rewards make it challenging for the model to discern which actions contributed to successful outcomes. This hinders learning efficiency and slows convergence. In this paper, we propose MA-RLHF, a simple yet effective RLHF framework that incorporates macro actions -- sequences of tokens or higher-level language constructs -- into the learning process. By operating at this higher level of abstraction, our approach reduces the temporal distance between actions and rewards, facilitating faster and more accurate credit assignment. This results in more stable policy gradient estimates and enhances learning efficiency within each episode, all without increasing computational complexity during training or inference. We validate our approach through extensive experiments across various model sizes and tasks, including text summarization, dialogue generation, question answering, and program synthesis. Our method achieves substantial performance improvements over standard RLHF, with performance gains of up to 30% in text summarization and code generation, 18% in dialogue, and 8% in question answering tasks. Notably, our approach reaches parity with vanilla RLHF 1.7x to 2x faster in terms of training time and continues to outperform it with further training. We will make our code and data publicly available at https://github.com/ernie-research/MA-RLHF .