Filtración de Políticas en RLHF para Ajustar Fino de LLM para Generación de Código

Policy Filtration in RLHF to Fine-Tune LLM for Code Generation

September 11, 2024

Autores: Wei Shen, Chuheng Zhang

cs.AI

Resumen

El aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) es una de las técnicas clave que ayuda a los modelos de lenguaje grandes (LLMs) a seguir instrucciones y proporcionar respuestas útiles e inofensivas. Si bien existen métodos de optimización de políticas directas, los LLMs de vanguardia adoptan métodos basados en RL (generalmente PPO) en RLHF para entrenar la política y generar buenas respuestas guiadas por un modelo de recompensa aprendido a partir de datos de preferencia. El principal desafío de estos métodos es la inexactitud del modelo de recompensa intermedio, especialmente en tareas de generación de código que requieren un razonamiento largo y complejo para puntuar una respuesta. Observamos que la confiabilidad del modelo de recompensa varía entre respuestas asignadas con diferentes recompensas. Esto nos motiva a filtrar las muestras cuyas recompensas pueden ser poco confiables para mejorar la relación señal-ruido durante el aprendizaje de políticas, lo que resulta en Filtración de Política para la Optimización de Política Proximal (PF-PPO). Para elegir una estrategia de filtración de política adecuada para un modelo de recompensa dado, el coeficiente de determinación (R^2) entre las recompensas y las puntuaciones reales en las muestras filtradas sirve como una buena métrica y nos ayuda a encontrar varias estrategias prometedoras. Realizamos experimentos extensos para validar la efectividad de PF-PPO en tareas de generación de código, y encontramos que algunas variantes de PF-PPO son altamente efectivas y logran un nuevo rendimiento de vanguardia en modelos de 7 mil millones de parámetros en HumanEval, MBPP y un nuevo y desafiante benchmark del concurso LeetCode.

English

Reinforcement learning from human feedback (RLHF) is one of the key techniques that helps large language models (LLMs) to follow instructions and provide helpful and harmless responses. While direct policy optimization methods exist, state-of-the-art LLMs adopt RL-based methods (usually PPO) in RLHF to train the policy to generate good responses guided by a reward model learned from preference data. The main challenge of these methods is the inaccuracy of the intermediate reward model, especially in code generation tasks that require long and complex reasoning to score a response. We find that the reliability of the reward model varies across responses assigned with different rewards. This motivates us to filter the samples whose rewards may be unreliable to improve signal-to-noise ratio during policy learning, resulting in Policy Filtration for Proximal Policy Optimization (PF-PPO). To choose a proper policy filtration strategy for a given reward model, the coefficient of determination (R^2) between rewards and actual scores on filtered samples serves as a good metrics and helps us find several promising strategies. We provide extensive experiments to validate the effectiveness of PF-PPO in code generation tasks, and find that some variants of PF-PPO are highly effective and achieve new state-of-the-art performance across 7-billion-parameter models on HumanEval, MBPP, and a new and more challenging LeetCode Contest benchmark.