Фильтрация политики в RLHF для настройки LLM для генерации кода

Policy Filtration in RLHF to Fine-Tune LLM for Code Generation

September 11, 2024

Авторы: Wei Shen, Chuheng Zhang

cs.AI

Аннотация

Обучение с подкреплением на основе обратной связи от человека (RLHF) является одним из ключевых методов, который помогает крупным языковым моделям (LLM) следовать инструкциям и предоставлять полезные и безопасные ответы. В то время как существуют прямые методы оптимизации политики, современные LLM используют методы на основе RL (обычно PPO) в RLHF для обучения политики генерировать хорошие ответы, направляемые моделью вознаграждения, изученной на основе данных предпочтений. Основным вызовом этих методов является неточность промежуточной модели вознаграждения, особенно в задачах генерации кода, требующих длительного и сложного рассуждения для оценки ответа. Мы обнаружили, что надежность модели вознаграждения варьируется в зависимости от ответов, назначенных различными вознаграждениями. Это побудило нас отфильтровать образцы, чьи вознаграждения могут быть ненадежными, для улучшения соотношения сигнал/шум во время обучения политики, что привело к Фильтрации Политики для Проксимальной Оптимизации Политики (PF-PPO). Для выбора подходящей стратегии фильтрации политики для данной модели вознаграждения коэффициент детерминации (R^2) между вознаграждениями и фактическими баллами на отфильтрованных образцах служит хорошей метрикой и помогает нам найти несколько перспективных стратегий. Мы проводим обширные эксперименты для подтверждения эффективности PF-PPO в задачах генерации кода и обнаруживаем, что некоторые варианты PF-PPO являются очень эффективными и достигают новых достижений в производительности среди моделей на 7-миллиардных параметрах на HumanEval, MBPP и новом и более сложном бенчмарке LeetCode Contest.

English

Reinforcement learning from human feedback (RLHF) is one of the key techniques that helps large language models (LLMs) to follow instructions and provide helpful and harmless responses. While direct policy optimization methods exist, state-of-the-art LLMs adopt RL-based methods (usually PPO) in RLHF to train the policy to generate good responses guided by a reward model learned from preference data. The main challenge of these methods is the inaccuracy of the intermediate reward model, especially in code generation tasks that require long and complex reasoning to score a response. We find that the reliability of the reward model varies across responses assigned with different rewards. This motivates us to filter the samples whose rewards may be unreliable to improve signal-to-noise ratio during policy learning, resulting in Policy Filtration for Proximal Policy Optimization (PF-PPO). To choose a proper policy filtration strategy for a given reward model, the coefficient of determination (R^2) between rewards and actual scores on filtered samples serves as a good metrics and helps us find several promising strategies. We provide extensive experiments to validate the effectiveness of PF-PPO in code generation tasks, and find that some variants of PF-PPO are highly effective and achieve new state-of-the-art performance across 7-billion-parameter models on HumanEval, MBPP, and a new and more challenging LeetCode Contest benchmark.