Filtraggio delle politiche in RLHF per perfezionare LLM per la generazione di codice

Policy Filtration in RLHF to Fine-Tune LLM for Code Generation

September 11, 2024

Autori: Wei Shen, Chuheng Zhang

cs.AI

Abstract

Il Reinforcement Learning da feedback umano (RLHF) è una delle tecniche chiave che aiuta i grandi modelli linguistici (LLM) a seguire istruzioni e fornire risposte utili e inoffensive. Mentre esistono metodi diretti di ottimizzazione della policy, i LLM all'avanguardia adottano metodi basati su RL (di solito PPO) in RLHF per addestrare la policy a generare buone risposte guidate da un modello di ricompensa appreso dai dati di preferenza. La principale sfida di questi metodi è l'inesattezza del modello di ricompensa intermedio, specialmente nei compiti di generazione di codice che richiedono un ragionamento lungo e complesso per valutare una risposta. Abbiamo riscontrato che l'affidabilità del modello di ricompensa varia tra le risposte assegnate con diverse ricompense. Questo ci motiva a filtrare i campioni le cui ricompense potrebbero non essere affidabili per migliorare il rapporto segnale-rumore durante l'apprendimento della policy, risultando in Filtraggio della Policy per l'Ottimizzazione della Policy Prossimale (PF-PPO). Per scegliere una strategia di filtraggio della policy adeguata per un dato modello di ricompensa, il coefficiente di determinazione (R^2) tra le ricompense e i punteggi effettivi sui campioni filtrati funge da buona metrica e ci aiuta a individuare diverse strategie promettenti. Forniamo ampi esperimenti per convalidare l'efficacia di PF-PPO nei compiti di generazione di codice e scopriamo che alcune varianti di PF-PPO sono altamente efficaci e raggiungono nuove prestazioni all'avanguardia su modelli da 7 miliardi di parametri su HumanEval, MBPP e un nuovo e più impegnativo benchmark del Contest LeetCode.

English

Reinforcement learning from human feedback (RLHF) is one of the key techniques that helps large language models (LLMs) to follow instructions and provide helpful and harmless responses. While direct policy optimization methods exist, state-of-the-art LLMs adopt RL-based methods (usually PPO) in RLHF to train the policy to generate good responses guided by a reward model learned from preference data. The main challenge of these methods is the inaccuracy of the intermediate reward model, especially in code generation tasks that require long and complex reasoning to score a response. We find that the reliability of the reward model varies across responses assigned with different rewards. This motivates us to filter the samples whose rewards may be unreliable to improve signal-to-noise ratio during policy learning, resulting in Policy Filtration for Proximal Policy Optimization (PF-PPO). To choose a proper policy filtration strategy for a given reward model, the coefficient of determination (R^2) between rewards and actual scores on filtered samples serves as a good metrics and helps us find several promising strategies. We provide extensive experiments to validate the effectiveness of PF-PPO in code generation tasks, and find that some variants of PF-PPO are highly effective and achieve new state-of-the-art performance across 7-billion-parameter models on HumanEval, MBPP, and a new and more challenging LeetCode Contest benchmark.