Filtragem de Política em RLHF para Ajuste Fino de LLM para Geração de Código

Policy Filtration in RLHF to Fine-Tune LLM for Code Generation

September 11, 2024

Autores: Wei Shen, Chuheng Zhang

cs.AI

Resumo

A aprendizagem por reforço a partir do feedback humano (RLHF) é uma das técnicas-chave que ajuda os grandes modelos de linguagem (LLMs) a seguir instruções e fornecer respostas úteis e inofensivas. Embora existam métodos de otimização de política direta, os LLMs de última geração adotam métodos baseados em RL (geralmente PPO) em RLHF para treinar a política a gerar boas respostas guiadas por um modelo de recompensa aprendido a partir de dados de preferência. O principal desafio desses métodos é a imprecisão do modelo de recompensa intermediário, especialmente em tarefas de geração de código que exigem raciocínio longo e complexo para pontuar uma resposta. Descobrimos que a confiabilidade do modelo de recompensa varia entre respostas atribuídas a diferentes recompensas. Isso nos motiva a filtrar as amostras cujas recompensas podem ser não confiáveis para melhorar a relação sinal-ruído durante o aprendizado da política, resultando em Filtragem de Política para Otimização de Política Próxima (PF-PPO). Para escolher uma estratégia apropriada de filtragem de política para um determinado modelo de recompensa, o coeficiente de determinação (R^2) entre recompensas e pontuações reais em amostras filtradas serve como uma boa métrica e nos ajuda a encontrar várias estratégias promissoras. Realizamos experimentos extensivos para validar a eficácia do PF-PPO em tarefas de geração de código e descobrimos que algumas variantes do PF-PPO são altamente eficazes e alcançam novos desempenhos de última geração em modelos de 7 bilhões de parâmetros no HumanEval, MBPP e em um novo e desafiador benchmark do LeetCode Contest.

English

Reinforcement learning from human feedback (RLHF) is one of the key techniques that helps large language models (LLMs) to follow instructions and provide helpful and harmless responses. While direct policy optimization methods exist, state-of-the-art LLMs adopt RL-based methods (usually PPO) in RLHF to train the policy to generate good responses guided by a reward model learned from preference data. The main challenge of these methods is the inaccuracy of the intermediate reward model, especially in code generation tasks that require long and complex reasoning to score a response. We find that the reliability of the reward model varies across responses assigned with different rewards. This motivates us to filter the samples whose rewards may be unreliable to improve signal-to-noise ratio during policy learning, resulting in Policy Filtration for Proximal Policy Optimization (PF-PPO). To choose a proper policy filtration strategy for a given reward model, the coefficient of determination (R^2) between rewards and actual scores on filtered samples serves as a good metrics and helps us find several promising strategies. We provide extensive experiments to validate the effectiveness of PF-PPO in code generation tasks, and find that some variants of PF-PPO are highly effective and achieve new state-of-the-art performance across 7-billion-parameter models on HumanEval, MBPP, and a new and more challenging LeetCode Contest benchmark.