Filtration de politique dans RLHF pour affiner LLM pour la génération de code

Policy Filtration in RLHF to Fine-Tune LLM for Code Generation

September 11, 2024

Auteurs: Wei Shen, Chuheng Zhang

cs.AI

Résumé

L'apprentissage par renforcement à partir des retours humains (RLHF) est l'une des techniques clés qui aide les grands modèles de langage (LLMs) à suivre les instructions et à fournir des réponses utiles et inoffensives. Alors que des méthodes d'optimisation de politique directe existent, les LLMs de pointe adoptent des méthodes basées sur le RL (généralement PPO) dans le cadre du RLHF pour entraîner la politique à générer de bonnes réponses guidées par un modèle de récompense appris à partir de données de préférence. Le principal défi de ces méthodes est l'inexactitude du modèle de récompense intermédiaire, en particulier dans les tâches de génération de code qui nécessitent un raisonnement long et complexe pour évaluer une réponse. Nous constatons que la fiabilité du modèle de récompense varie selon les réponses attribuées à des récompenses différentes. Cela nous pousse à filtrer les échantillons dont les récompenses peuvent être peu fiables pour améliorer le rapport signal/bruit pendant l'apprentissage de la politique, ce qui donne lieu à la Filtration de Politique pour l'Optimisation de Politique Proximale (PF-PPO). Pour choisir une stratégie de filtration de politique appropriée pour un modèle de récompense donné, le coefficient de détermination (R^2) entre les récompenses et les scores réels sur les échantillons filtrés sert de bon indicateur et nous aide à trouver plusieurs stratégies prometteuses. Nous menons des expériences approfondies pour valider l'efficacité du PF-PPO dans les tâches de génération de code, et constatons que certaines variantes du PF-PPO sont très efficaces et atteignent de nouvelles performances de pointe sur des modèles de 7 milliards de paramètres sur HumanEval, MBPP, et un nouveau banc d'essai LeetCode Contest plus difficile.

English

Reinforcement learning from human feedback (RLHF) is one of the key techniques that helps large language models (LLMs) to follow instructions and provide helpful and harmless responses. While direct policy optimization methods exist, state-of-the-art LLMs adopt RL-based methods (usually PPO) in RLHF to train the policy to generate good responses guided by a reward model learned from preference data. The main challenge of these methods is the inaccuracy of the intermediate reward model, especially in code generation tasks that require long and complex reasoning to score a response. We find that the reliability of the reward model varies across responses assigned with different rewards. This motivates us to filter the samples whose rewards may be unreliable to improve signal-to-noise ratio during policy learning, resulting in Policy Filtration for Proximal Policy Optimization (PF-PPO). To choose a proper policy filtration strategy for a given reward model, the coefficient of determination (R^2) between rewards and actual scores on filtered samples serves as a good metrics and helps us find several promising strategies. We provide extensive experiments to validate the effectiveness of PF-PPO in code generation tasks, and find that some variants of PF-PPO are highly effective and achieve new state-of-the-art performance across 7-billion-parameter models on HumanEval, MBPP, and a new and more challenging LeetCode Contest benchmark.