Beleidsfiltratie in RLHF om LLM fijn af te stemmen voor codegeneratie.

Policy Filtration in RLHF to Fine-Tune LLM for Code Generation

September 11, 2024

Auteurs: Wei Shen, Chuheng Zhang

cs.AI

Samenvatting

Reinforcement learning from human feedback (RLHF) is een van de belangrijkste technieken die grote taalmodellen (LLMs) helpen om instructies op te volgen en behulpzame en onschadelijke antwoorden te geven. Hoewel er directe optimalisatiemethoden voor beleid bestaan, maken state-of-the-art LLMs gebruik van op RL gebaseerde methoden (meestal PPO) in RLHF om het beleid te trainen om goede antwoorden te genereren die worden geleid door een beloningsmodel dat is geleerd van voorkeursgegevens. De voornaamste uitdaging van deze methoden is de onnauwkeurigheid van het tussenliggende beloningsmodel, vooral bij taken voor codegeneratie die langdurige en complexe redeneringen vereisen om een antwoord te beoordelen. We constateren dat de betrouwbaarheid van het beloningsmodel varieert tussen antwoorden die verschillende beloningen hebben gekregen. Dit motiveert ons om de monsters te filteren waarvan de beloningen mogelijk onbetrouwbaar zijn om het signaal-ruisverhouding tijdens het leren van het beleid te verbeteren, resulterend in Beleidsfiltratie voor Proximale Beleidsoptimalisatie (PF-PPO). Om een geschikte beleidsfiltratiestrategie te kiezen voor een gegeven beloningsmodel, dient de determinatiecoëfficiënt (R^2) tussen beloningen en daadwerkelijke scores op gefilterde monsters als een goede metriek en helpt ons bij het vinden van verschillende veelbelovende strategieën. We voeren uitgebreide experimenten uit om de effectiviteit van PF-PPO bij codegeneratietaken te valideren, en constateren dat sommige varianten van PF-PPO zeer effectief zijn en een nieuwe state-of-the-art prestatie behalen bij modellen met 7 miljard parameters op HumanEval, MBPP, en een nieuwe en uitdagendere benchmark van LeetCode Contest.

English

Reinforcement learning from human feedback (RLHF) is one of the key techniques that helps large language models (LLMs) to follow instructions and provide helpful and harmless responses. While direct policy optimization methods exist, state-of-the-art LLMs adopt RL-based methods (usually PPO) in RLHF to train the policy to generate good responses guided by a reward model learned from preference data. The main challenge of these methods is the inaccuracy of the intermediate reward model, especially in code generation tasks that require long and complex reasoning to score a response. We find that the reliability of the reward model varies across responses assigned with different rewards. This motivates us to filter the samples whose rewards may be unreliable to improve signal-to-noise ratio during policy learning, resulting in Policy Filtration for Proximal Policy Optimization (PF-PPO). To choose a proper policy filtration strategy for a given reward model, the coefficient of determination (R^2) between rewards and actual scores on filtered samples serves as a good metrics and helps us find several promising strategies. We provide extensive experiments to validate the effectiveness of PF-PPO in code generation tasks, and find that some variants of PF-PPO are highly effective and achieve new state-of-the-art performance across 7-billion-parameter models on HumanEval, MBPP, and a new and more challenging LeetCode Contest benchmark.